[Python] Selenium을 사용한 크롤링 제작(1)

Install

일반적인 설치과정과 동일하게 "pip install selenium"을 사용하여 설치할 수 있다.

Import

import requests
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time

Code

"봇이 아니라 사람이야"를 알려주기 위해 user_agent를 추가한 후 webdriver 객체를 생성한다.

(webdriver를 동일 경로 내에 위치시켜 별도의 경로 지정 코드는 추가하지 않았다.)

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
options.add_argument('user-agent=' + user_agent)
options.add_experimental_option("excludeSwitches", ["enable-logging"])
options.add_experimental_option('prefs', {
    "download.default_directory": r"다운로드 대상 경로 지정",
    "download.prompt_for_download": False,
    "download.directory_upgrade": True,
    "safebrowsing.enabled": True})
driver = webdriver.Chrome(options=options)

 

생성한 driver 객체를 사용하여 URL에 접속한다.

url1 = '대상 URL'
driver.get(url1)
time.sleep(1)

 

특정 버튼 클릭, 태그 내 존재하는 값 파싱과 같은 동작은 Selenium 내 존재하는 Xpath, CSS_Selector를 사용하여 구현하였다. 

Xpath 와 CSS_Selector은 개발자 도구에서 우측 버튼을 누르게 되면 쉽게 확인할 수 있다.

Xpath, selector

Selenium을 사용하여 크롤링을 제작할 때 Xpath, Selector 값을 비교하여 일치하는 패턴을 확인한다. 해당 크롤링에서도 일정한 패턴이 확인되어 Format 을 사용하여 쉽게 제작할 수 있었다. 

---

대략적인 소스코드는 다음과 같으며 소스코드 전체는 깃허브에서 확인할 수 있다.

https://github.com/byeongyeolahn/Bazaar_Mobile_malware_crawling

import requests
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time

options = Options()

# 옵션 설정
user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
options.add_argument('user-agent=' + user_agent)
options.add_experimental_option("excludeSwitches", ["enable-logging"])
options.add_experimental_option('prefs', {
    "download.default_directory": r"다운로드 대상 경로 지정",
    "download.prompt_for_download": False,
    "download.directory_upgrade": True,
    "safebrowsing.enabled": True})
driver = webdriver.Chrome(options=options)

# 초기 검색어 입력
query = '검색어'

# URL 접속
url1 = '대상 URL'
driver.get(url1)
time.sleep(1)

# apk 검색 결과 화면
driver.find_element(By.XPATH, '/html/body/main/div[1]/div/p[2]/a').click()
search_tab = driver.find_element(By.CSS_SELECTOR, '#search')
search_tab.send_keys(query)
search_tab.send_keys(Keys.ENTER)
time.sleep(3)

# apk 파일들 sha256 값 모으기
file_hash = []
# for i in range(1,4):
for k in range(2,6):
    driver.find_element(By.XPATH, '//*[@id="samples_paginate"]/ul/li[{}]/a'.format(k)).click()
    for i in range(1,251):
        tag_td = driver.find_element(By.CSS_SELECTOR, '#samples > tbody > tr:nth-child({}) > td:nth-child(2) > a'.format(i))
        tag_href = tag_td.get_attribute('href')
        file_hash.append(tag_href)

# 이후 깃허브(https://github.com/byeongyeolahn/Bazaar_Mobile_malware_crawling) 게시

 

 

오류, 잘못된 점 또는 궁금한 점이 있으시다면 댓글 남겨주세요❗