[Python] Selenium 사용하기

왜 Selenuim을 사용하지??

일반적으로 널리 알려진 BeautifulSoup 라이브러리를 사용해도 사이트의 다양한 정보를 추출할 수 있다.

하지만...BeautifulSoup에는 자바스크립트로 동적으로 생성된 정보는 가지고 올 수 없는 한계가 존재한다😭

Selenium을 사용할 경우 동적으로 만든 데이터 크롤링이 가능해지고 다양한 요소에 클릭과 같은 이벤트를 주는 것이 가능해진다!

 

Import and Install

Selenium은 다른 라이브러리와 동일하게 다음과 같은 명령어로 쉽게 설치할 수 있다.

pip install selenium

Import 

주로 사용하는 Import 목록은 다음과 같다.

import selenium
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.keys import keys
from selenium.webdriver.common.by import By

Chrome Driver 설치

Selenium을 사용한 크롤링을 구축할 때 웹 브라우저를 제어하기 위해서는 Chrome Driver 설치가 필수적이다.

Chrome Driver 를 설치하기 전 자신의 Chrome 브라우저 버전을 확인하여 그에 맞는 Chrome Driver를 설치해야한다.

Chrome 브라우저는 브라우저 오른쪽 상단에 점 3개 버튼 ➝ 도움말 ➝ Chrome 정보에서 확인할 수 있다.

Chrome Driver 를 동작시키는 코드는 다음과 같다.

작업 공간과 동일 경로에 Chrome Driver를 위치시키지 않을 경우 반드시 경로를 명시해줘야 한다.

URL = '크롤링 대상 URL'
User_agent = '사용하고자 하는 User_agent' # 봇으로 인식하는 것을 우회하기 위함
driver = webdriver.Chrome()
driver.get(URL)

사용법

Selenium 을 사용하여 크롤링을 만들 때 내가 가장 유용하게 사용하는 기능은 Xpath, selector이다. 

기존에는 driver.find_element_by_xpath()와 같이 사용하여 Xpath, selector 기능을 사용하였으나 최근에는 위와 같이 할 경우 경고 메시지가 발생하여 다음과 같이 사용한다.

driver.find_element(By.CSS_SELECTOR, 'selector 내용')
driver.find_element(By.XPATH, 'Xpath 내용')

 

 

오류, 잘못된 점 또는 궁금한 점이 있으시다면 댓글 남겨주세요❗