[Python] Selenium을 사용한 크롤링 제작(2)

Selenium을 사용한 크롤링 제작(1)

기존 Selenium을 사용하여 만들었던 크롤링에는 치명적인 단점이 하나 존재하였다.

2022.09.07 - [개발💻/Python] - [Python] Selenium을 사용한 크롤링 제작(1)

 

기존 크롤링의 문제

기존 만들었던 크롤링은 중복 제거 로직이 존재하지 않아 같은 파일도 계속 다운로드되어 실질적으로 원하는 악성 APK 파일을 다운로드 할 수 없었기에 중복 제거 로직을 추가하기로 하였다.

 

중복 제거 로직 

MD5 해시값 비교를 통해 중복 검사를 하기로 결정하여 List 로 선언 후 전체적인 코드를 구현하였다.

하지만, 매번 List가 초기화되어 이전에 다운로드 했던 APK의 MD5 해시값이 누적되는 것이 아니라 그 시점(코드를 돌릴 때)에만 중복제거가 이루어졌다..😓

 

그래서 MySQL DB를 사용하여 APK의 MD5 해시값을 누적하여 설치할 수 있을 것이라 생각하고 구현하였다.

 

Pymysql - 설치

Python 내 MySQL과 연동되는 모듈인 pymysql을 사용하여 DB를 구축하였다.

pymysql은 간단하게 다음과 같은 명령어로 설치할 수 있다.

pip install pymysql

 

Pymysql - DB 생성

MySQL DB 생성은 워크벤치로도 가능하지만 vscode를 사용해도 생성 가능하다.

처음에 자신의 MySQL 과 연결한 후 cursor 객체를 하나 생성한다.

import pymysql

conn = pymysql.connect(host='localhost', user = 'root', password='비밀번호', charset='utf8')
cursor = conn.cursor()

 

이후 DB 생성 쿼리문인 "CREATE DATABASE" 쿼리문을 사용하여 DB를 생성한다.

sql = "CREATE DATABASE malware_apk"

 

해당 쿼리문을 완성했으면 쿼리문을 실행하고 커밋을 하여 DB 생성을 마무리 한다.(테이블 생성도 동일하게 쿼리문을 작성하고 실행하면 된다.)

sql = "CREATE DATABASE 'DB 명'"

cursor.execute(sql)

conn.commit()
conn.close()

 

Pymysql - 구현

테이블 생성까지 완료한 후 실제 중복 제거 로직을 구현하였다.

처음 MySQL과 연결하고 기존 해시값(SELET '가져오고 싶은 칼럼 명' FROM '테이블 명')을 리스트에 넣어 이미 다운로드 했던 APK 파일에 대해서 파악한다. 

conn = pymysql.connect(host='localhost', user = 'root', password='비밀번호!',db = 'malware_apk', charset='utf8')
cursor = conn.cursor()

# 기존 해시값 가져오기
file_hash = []
cursor.execute("SELECT * FROM md5")
for q in cursor.fetchall():
    temp = q[1]
    file_hash.append(temp)
file_name = []

 

기존 해시값을 가져온 이후 Selenium의 Xpath 기능을 사용하여 다운하고자 하는 APK 파일의 MD5해시값을 가져온다.

file_md5 = driver.find_element(By.ID, 'md5_hash')

 

다운하고자 하는 APK 파일의 MD5 해시값이 데이터 베이스에서 불러온 리스트에 이미 존재한다면 continue를 통해 for 문을 생략하고 존재하지 않을 경우 다운로드하는 루틴까지 진행되도록 구현하였다.

 if file_md5.text in file_hash:
    print(file_name[h] + "가 이미 존재합니다.")
    continue

file_hash.append(file_md5.text)
sql = "INSERT INTO md5(md5) values(%s)"
val = (file_hash[h])
cursor.execute(sql, val)
# 중복 아닐 경우 다운 진행 
driver.find_element(By.XPATH, '/html/body/main/table/tbody/tr[7]/td/a').click()

 

전체 코드

전체 코드는 다음과 같으며 깃허브에서도 확인할 수 있다.

https://github.com/byeongyeolahn/Bazaar_Mobile_malware_crawling

import re
import requests
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import time
import unzip
import md5
import pymysql



def crawling():
    #my sql 연결
    conn = pymysql.connect(host='localhost', user = 'root', password='비밀번호',db = 'malware_apk', charset='utf8')
    cursor = conn.cursor()

    # 기존 해시값 가져오기
    file_hash = []
    cursor.execute("SELECT * FROM md5")
    for q in cursor.fetchall():
        temp = q[1]
        file_hash.append(temp)
    file_name = []


    options = Options()

    # 옵션 설정
    user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
    options.add_argument('user-agent=' + user_agent)
    options.add_experimental_option("excludeSwitches", ["enable-logging"])
    options.add_experimental_option('prefs', {
        "download.default_directory": "다운로드 받고자 하는 폴더 경로",
        "download.prompt_for_download": False,
        "download.directory_upgrade": True,
        "safebrowsing.enabled": True})
    driver = webdriver.Chrome(options=options)

    # 초기 검색어 입력
    query = 'tag:apk'

    # URL 접속
    url1 = '크롤링 대상 사이트'
    driver.get(url1)
    time.sleep(1)

    # apk 검색 결과 화면
    driver.find_element(By.XPATH, '/html/body/main/div[1]/div/p[2]/a').click()
    search_tab = driver.find_element(By.CSS_SELECTOR, '#search')
    search_tab.send_keys(query)
    search_tab.send_keys(Keys.ENTER)
    time.sleep(3)

    # apk 파일들 sha256 값 모으기


 
    # for i in range(1,4):
    for k in range(2,6):
        driver.find_element(By.XPATH, '//*[@id="samples_paginate"]/ul/li[{}]/a'.format(k)).click()
        for i in range(1,251):
            tag_td = driver.find_element(By.CSS_SELECTOR, '#samples > tbody > tr:nth-child({}) > td:nth-child(2) > a'.format(i))
            tag_href = tag_td.get_attribute('href')
            file_name.append(tag_href)

    for h in range(len(file_name)):
        url_list = file_name[h]
        driver.get(url_list)
        # 중복 검사
        file_md5 = driver.find_element(By.ID, 'md5_hash')
        if file_md5.text in file_hash:
            print(file_name[h] + "가 이미 존재합니다.")
            continue

        file_hash.append(file_md5.text)
        sql = "INSERT INTO md5(md5) values(%s)"
        val = (file_hash[h])
        cursor.execute(sql, val)
        # 중복 아닐 경우 다운 진행 
        driver.find_element(By.XPATH, '/html/body/main/table/tbody/tr[7]/td/a').click()
        
        tag_div = driver.find_element(By.CSS_SELECTOR, 'body > main > div.container.text-center')
        tag_button = tag_div.find_element(By.TAG_NAME, 'button')
        tag_id = tag_button.get_attribute('id')
        driver.find_element(By.XPATH, '//*[@id="{}"]'.format(tag_id)).click()
        conn.commit()
        time.sleep(1)

    conn.close()

if __name__ == "__main__":
    #데이터베이스 연결
    crawling()

*해당 크롤링 내 Xpath, Selector은 사이트 내 특정 값으로 사이트마다 값은 모두 다르다.

 

오류, 잘못된 점 또는 궁금한 점이 있으시다면 댓글 남겨주세요❗