pymysql

[Python] Selenium을 사용한 크롤링 제작(2)

Selenium을 사용한 크롤링 제작(1) 기존 Selenium을 사용하여 만들었던 크롤링에는 치명적인 단점이 하나 존재하였다. 2022.09.07 - [개발💻/Python] - [Python] Selenium을 사용한 크롤링 제작(1) 기존 크롤링의 문제 기존 만들었던 크롤링은 중복 제거 로직이 존재하지 않아 같은 파일도 계속 다운로드되어 실질적으로 원하는 악성 APK 파일을 다운로드 할 수 없었기에 중복 제거 로직을 추가하기로 하였다. 중복 제거 로직 MD5 해시값 비교를 통해 중복 검사를 하기로 결정하여 List 로 선언 후 전체적인 코드를 구현하였다. 하지만, 매번 List가 초기화되어 이전에 다운로드 했던 APK의 MD5 해시값이 누적되는 것이 아니라 그 시점(코드를 돌릴 때)에만 중복제거가 이..

[Python] pymysql 을 통해 데이터 베이스 값(Tuple)을 List로 가져오는 법

간단하게 크롤링 제작을 하며 데이터 베이스를 사용해 중복 제거를 할 계획이었으나 Mysql 데이터 베이스 내 데이터를 가져올 때 Tuple 형태로 가져와져 리스트화 하는데 어려움이 있었다...😓 cursor.execute("SELECT '원하는 칼럼 명' FROM 테이블 명'") target_list = [] temp = cursor.fetchall() for q in range(len(temp)): target_list.append(temp[q]) print(target_list) 위와 같은 방식으로 데이터 베이스 내 데이터를 가져온다면 쉽게 List에 넣을 수 있을 것이라고 생각하였으나 오류(TypeError tuple indices must be integers or slices not tuple)..