[Week3 웹데이터 크롤 및 분석] TIL 8일차 - 데이터 크롤링 기초(2)

1) BeautifulSoup

어제 request.get 함수를 이용해 웹 페이지로부터 데이터를 가져오는 작업을 수행했다.

그런데, 이런 식으로 데이터를 스크래핑하면 모든 데이터의 구분 없이 한 줄로 표시된다.

원하는 데이터를 간편하게 가져오기 위해 BeautifulSoup 패키지를 이용보자.

 

BeautifulSoup 패키지란?

html과 xml문서를 파싱 하는 패키지로 구문 분석 트리를 생성하기 때문에 간편하게 원하는 정보를 찾을 수 있다.

html의 태그명, id, class 이름을 이용하여 원하는 데이터를 간편하게 찾을 수 있어 데이터 크롤링/스크래핑 시 많이 사용한다.

 

사용

1. 원하는 데이터가 어느 위치에, 어떤 태그로 감싸져 있는지 확인한다.

2. requests.get 메서드를 이용해 웹사이트로부터 데이터를 얻어온다.

3. 해당 데이터를 BeautifulSoup 객체로 만든다.

4. 태그명/id/class 이름을 이용하여 원하는 정보를 얻어온다.

# 스크래핑에 필요한 라이브러리를 불러와봅시다.
import requests
from bs4 import BeautifulSoup

## 태그 명(div)으로 데이터 찾기
soup.find("div")
## 태그명(div)과 id이름으로 데이터 찾기
soup.find("div", id="id이름")
## 태그명(div)과 class이름으로 데이터 찾기
soup.find("div", "class이름")

 

5. 페이지가 여러 개 있는 경우 해당 페이지마다 스크래핑해야 한다.

한 번에 모든 페이지를 스크래핑하면 많은 부하를 줄 수 있으므로, time 패키지를 이용해 일정 시간 간격을 수고 스프래핑을 수행한다.

페이지의 경우 보통, url에 쿼리 스트링으로 전달된다.

import time

for i in range(1, page_num+1):
    res=requests.get("스크래핑을원하는페이지주소?page={}".format(i), user_agent)
    soup=BeautifulSoup(res.text, "html.parser")
    print(question.find("데이터찾길원하는조건").text.strip())
    time.sleep(0.5)

 

2) Selenium

그런데, 요즘 많이 사용되는 동적 웹 페이지의 경우 BeautifulSoup 패키지만을 이용한다면 원하는 정보를 얻을 수 없을 가능성이 있다.

 

웹 사이트는 크게 정적 웹사이트와 동적 웹사이트로 나눌 수 있다.

웹 페이지의 종류

• 정적 웹 사이트 : HTML 내용이 고정
• 동적 웹 사이트 : HTML 내용이 동적으로 변함

정적 웹 사이트의 경우 동기적으로 랜더링→데이터로딩→응답이 진행되지만,

동적 웹 사이트의 경우 비동기적인 (랜더링→), (데이터로딩→)이 일어난다. 랜더링이 완료된 후에 응답이 일어나기 때문에 때에 따라서 데이터 로딩이 완료되지 않은 채로 웹 사이트가 표시되는 것이다.

 

이때, 데이터 스크래핑을 진행하면 모든 데이터의 로딩은 안된 상태로 진행되기 때문에 원하는 정보를 얻을 수 없을지도 모른다. 때문에 Selenium 패키지를 활용한다.