[Week3 웹데이터 크롤 및 분석] TIL 9일차 - Selenium으로 스크래핑하기

0) Selenium 패키지

어제 말했듯, BeautifulSoup 패키지로는 동적으로 생성된 정보는 가져올 수 없었다.

동적 웹사이트는 비동기방식으로 작동하는데 랜더링이 완료되었을 때 데이터 로딩이 꼭 완료되는 것은 아니기 때문이다.

따라서 Selenium 패키지를 사용해서 우리가 원하는 정보를 가져오려 한다.

 

Sellenium 패키지를 이용하면 파이썬으로 다음 두 가지 동작이 가능하다.

1. 자바스크립트가 동적으로 만든 데이터를 스크래핑

2. 사이트에 이벤트(마우스 클릭, 키보드 입력 등)를 주기

 

실습을 통해 다음 두 가지의 작업을 수행해 보자.

 

 

1) 원하는 정보 가져오기

오늘날의 웹 페이지는 웹크롤러나 다른 스크래핑 사용자들이 쉽게 정보를 가져가지 못하도록 클래스 이름을 랜덤 하게 생성한다.

ex) Class="navbar__ADSXD"

 

이러한 경우에 "위치"를 활용해 원하는 데이터를 가져오기 위한 방법으로 XPath가 있다.

 

0. XPath

Xml, HTML 문서의 특정 요소에 접근하기 위한 경로를 지정하는 언어

XPath는 조건에 맞는 모든 노드를 가져와서 배열의 형태로 저장하는데 일반 배열과 다르게 시작위치가 1이다.

ex) `//*[@id="__next"]/div/main/div[2]/div/div[4]/p[1]'의 HTML 위치는 다음과 같다

<div id="__next>
	<div ...>
    	<main ...>
        	<div id="1">
            </div>
            <div id="2>
            	<div ...>
                	<div id="01">
                    </div>
                    <div id="02">
                    </div>
                    <div id="03>
                    </div>
                    <div id="04">
                    	<p>원하는정보여기있어요</p>
                    </div>
                </div>
            </div>
        </main>
    </div>
</div>

 

1. 기다림(wait)

앞서서 말했듯이 동적 웹 사이트는 데이터 로딩이 되기 전에도 웹 사이트의 렌더링이 완료된다면 사용자에게 해당 화면을 보여줄 수 있다. 원하는 데이터를 가져오기 위해서는 웹 사이트에 해당 데이터가 로딩되었는지 여부를 아는 것이 필요하다.

이때 사용하는 것이 기다림이다.

기다림은 일반적으로 time 패키지의 타이머를 이용할 수 있지만 이번 시간에는 명시적 기다림(Explicit wait)과 암묵적 기다림(Implicit wait)을 사용해 보자.

 

명시적 기다림(Explicit wait) : 로딩이 다 될 때까지 지정한 시간 동안 기다림 

암묵적 기다림(Implicit wait) : 특정 요소에 제약을 통한 기다림

 

이제 동적 웹 페이지에서 명시적 기다림, 암묵적 기다림을 이용해 원하는 정보를 가져오자.

 

 

2. 명시적 기다림을 사용한 웹 스크래핑

로딩이 다 될 때까지 지정한 시간 동안 기다림 

WebDriverWait()

• until() : 인자의 조건이 만족될 때까지 기다림
• until_not() : 인자의 조건이 만족되지 않을 때까지 기다림

# 스크래핑에 필요한 라이브러리
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager

url="원하는사이트주소"
# 예시 사이트에 요청을 진행하고, 예시 사이트의 xpath경로상의 제목을 가져와봅시다.
driver=webdriver.Chrome(service=Service(ChromeDriverManager().install()))
xpath='원하는데이터의XPATH경로'

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
# Explicit Wait를 활용해서 스크래핑이 잘 이루어지도록 코드를 작성해봅시다.
# 10초동안 Explicit Wait을 진행하도록 해서 스크래핑이 잘 이루어지도록 수정해봅시다.
with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver:
    driver.get(url)
    element=WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, xpath)))

 

3. 암묵적 기다림을 사용한 웹 스크래핑

특정 요소에 제약을 통한 기다림

implicitly_wait(time)

(한계시간 전이라면) 로딩이 다 될 때까지 기다림

# 스크래핑에 필요한 라이브러리
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager

url="원하는사이트주소"
# 예시 사이트에 요청을 진행하고, 예시 사이트의 xpath경로상의 제목을 가져와봅시다.
driver=webdriver.Chrome(service=Service(ChromeDriverManager().install()))
xpath='원하는데이터의XPATH경로'

# 10초동안 Implicit Wait을 진행하도록 해서 스크래핑이 잘 이루어지도록 수정해봅시다.
with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver:
    driver.get(url)
    driver.implicitly_wait(10)
    driver.find_element(By.XPATH, xpath).text

 

 

2) 파이썬으로 웹페이지 이벤트 처리하기(키보드, 마우스 입력)

사이트의 로그인 창에 접속하여 로그인을 자동으로 해 보자.

키보드와 마우스 입력에 관한 여러 함수는 다음 사이트를 참고하자.

Mouse actions

 

로그인 예제의 마우스, 키보드 입력의 순서는 다음과 같다.

1. 마우스 입력 (로그인 버튼 클릭). click(로그인요소)

• 마우스 입력을 원하는 요소를 찾고
• 원하는 마우스 입력을 수행한다.

2. 키보드 입력 (id, password 입력). send_keys_to_element(입력요소, 문자열)

• 키보드 입력을 원하는 요소를 찾고
• 문자열을 입력한다.

3. 마우스 입력 (확인 버튼 클릭)

• 마우스 입력을 원하는 요소를 찾고
• 원하는 마우스 입력을 수행한다.

기존 코드는 계속 오류가 나서 명시적 기다림을 이용해 동적 웹페이지의 특성을 반영하였다.

# 스크래핑에 필요한 라이브러리
from selenium import webdriver
from selenium.webdriver import ActionChains
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.actions.action_builder import ActionBuilder
from selenium.webdriver import Keys, ActionChains
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By

import time
driver=webdriver.Chrome(service=Service(ChromeDriverManager().install()))
driver.get("https://hashcode.co.kr")
time.sleep(1)

# "로그인" 버튼을 찾아 누른다.
id_input=WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//*[@id="main-app-account"]/div/div[2]/div/div[2]/div[1]/div/div[2]/div[2]/input')))
ActionChains(driver).send_keys_to_element(id_input, "id문자열입력").perform()
password_input=WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//*[@id="main-app-account"]/div/div[2]/div/div[2]/div[1]/div/div[2]/div[4]/input')))
ActionChains(driver).send_keys_to_element(password_input, "password문자열입력").perform()

# "로그인" 버튼을 눌러서 로그인을 완료합니다.
button=WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH,'//*[@id="main-app-account"]/div/div[2]/div/div[2]/div[1]/div/div[2]/button')))
ActionChains(driver).click(button).perform()

 

방과 후 학습)

오늘 배운 내용을 바탕으로 자동으로 로그인 한 뒤, 데이터 엔지니어링 강의의 대시보드에 진입할 수 있는 자동화 프로그램을 작성해 보았다. 관련 깃허브 주소-파일은 다음과 같다

https://github.com/es3442/Programmers-DataEngineering/blob/main/Web/Crawling/Week3-Day4(%EB%B0%9C%EC%A0%84).%20%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%A8%B8%EC%8A%A4%20%EB%A1%9C%EA%B7%B8%EC%9D%B8%2B%EB%8C%80%EC%8B%9C%EB%B3%B4%EB%93%9C%20%EC%9E%85%EC%9E%A5%20%EC%9E%90%EB%8F%99%ED%99%94.ipynb