Python

1. 파이썬 개념 정리 & 예시

 

- github.com/jihyun28/Python/blob/main/practice.py

jihyun28/Python

(관련 강의 : www.inflearn.com/course/%EB%82%98%EB%8F%84%EC%BD%94%EB%94%A9-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EA%B8%B0%EB%B3%B8/dashboard)

[무료] 파이썬 무료 강의 (기본편) - 6시간 뒤면 나도 개발자 - 인프런 | 강의

 

 

 

2. 파이썬으로 웹 스크래핑하기

 

### 웹스크래핑과 웹크롤링

# 웹 크롤링 : 웹페이지 내에서 허용된 링크를 따라가면서 마구잡이로 데이터를 가져오는 것

ex) 서점이벤트

# 웹 스크래핑 : 웹페이지 내에서 필요한 부분만 가져오는 것

ex) 종이 한 장에 시험내용 정리

 

 

### HTML

※ html 공부 사이트 : w3school

 

 

### XPath

# 비슷한 태그나 요소가 있을 때 어떤 것을 지정한 것을 명확하게 하기 위해서 xpath를 사용
# xpath 구성
/학교/학년/반/학생[2]
//*[@학번="1-1-2] -> 밑의 그림과 같은 코드를 간소화 가능

/html/body/div/div/div/div/div/div/span/a...
//*[@id="login"] 

 

 

 

### 크롬

개발자도구 : [F12]

원하는부분 오른쪽 마우스 > Copy > Copy xpath

 

 

### Requests

#html 문서 정보를 가져오기 위해 사용하는 라이브러리

 

 

 

위와 같이 mynaver.html이라는 파일이 생성되고, 길이가 출력된 것으로 보아 웹 스크래핑이 잘 진행된 것을 확인할 수 있다.

 

 

### 정규식

※ 정규식 공부 사이트 : w3school, python re

# . : 하나의 문자를 의미 ex) ca.e -> care, cafe (O) | caffe (X)

# ^ : 문자열의 시작 ex) ^de -> desk, destination (O) | fade (X)

# $ : 문자열의 끝 ex) se$ -> case, base (O) | face (X)

 

print(m.group()) # 일치하는 문자열 반환

print(m.string()) # 입력받은 문자열

print(m.start()) # 일치하는 문자열의 시작 index

print(m.end()) # 일치하는 문자열의 끝 index

print(m.span()) # 일치하는 문자열의 시작과 끝 index

 

# 1. p = re.compile("원하는 형태")

# 2. m = p.match("비교할 문자열") : 주어진 문자열의 처음부터 일치하는지 확인

# 3. m = p.search("비교할 문자열") : 주어진 문자열 중에 일치하는 것이 있는지 확인

# 4. lst = p.findall("비교할 문자열") : 일치하는 모든 것을 "리스트" 형태로 반환

 

 

### User Agent

#user agent 확인

https://www.whatismybrowser.com/detect/what-is-my-user-agent

 

 

### 네이버 웹툰 스크래핑

 

인기급상승 만화 - 인기순

 

 

인기 급상승 부분에 해당하는 코드

 

 

 

 

위의 코드를 실행한 결과는 다음과 같다.

 

 

 

위의 코드를 실행한 결과는 다음과 같다.

 

 

 

위의 코드를 실행한 결과는 다음과 같다. 

 

 

 

위의 코드를 실행한 결과는 다음과 같다.

 

 

 

 

 

(관련강의 : www.inflearn.com/course/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%9B%B9-%EC%8A%A4%ED%81%AC%EB%9E%98%ED%95%91/dashboard)

[무료] 파이썬 무료 강의 (활용편3) - 웹 스크래핑 (5시간) - 인프런 | 강의