합법적인 크롤링

[Crawling] 합법적인 Web Crawling 하는 법

웹 크롤링이란? 사전적 정의는 웹 페이지를 내 존재하는 데이터를 봇을 사용하여 검색하는 행위, 웹 상에 존재하는 데이터를 자동적으로 탐색하는 행위이다. 크롤링을 하는 가장 흔한 방법은 Python(Beautifulsoup, Selenium) 등이 존재한다. 개인적으로 Selenium을 주로 사용하고 Selenium과 관련된 포스팅은 다음과 같다. 2022.09.09 - [개발💻/Python] - [Python] Selenium 사용하기 [Python] Selenium 사용하기 왜 Selenuim을 사용하지?? 일반적으로 널리 알려진 BeautifulSoup 라이브러리를 사용해도 사이트의 다양한 정보를 추출할 수 있다. 하지만...BeautifulSoup에는 자바스크립트로 동적으로 생성된 정보는 가 bym..