[Crawling] 합법적인 Web Crawling 하는 법

웹 크롤링이란?

사전적 정의는 웹 페이지를 내 존재하는 데이터를 봇을 사용하여 검색하는 행위, 웹 상에 존재하는 데이터를 자동적으로 탐색하는 행위이다. 크롤링을 하는 가장 흔한 방법은 Python(Beautifulsoup, Selenium) 등이 존재한다. 

 

개인적으로 Selenium을 주로 사용하고 Selenium과 관련된 포스팅은 다음과 같다.

2022.09.09 - [개발💻/Python] - [Python] Selenium 사용하기

[Python] Selenium 사용하기

 

 

크롤링의 이유

일반적으로 빅데이터 분석의 중요성이 점차 올라가고 있으며 많은 기업, 관련 종사자들이 데이터를 확보하기 위해 큰 노력을 기울이고 있다. 기업 및 관련 종사자들의 경우 비즈니스를 하다 보면 데이터를 확보하기는 쉬운 편이다. 하지만, 학생 및 관련 종사자가 아닌 경우 확보하기 어렵다. 

이러한 문제점을 해결하기 위해 크롤링을 주로 사용하여 데이터 확보를 진행한다.

 

 

웹 스크래핑과 웹 크롤링의 차이

웹 스크래핑(Scraping)과 웹 크롤링(Crawling)은 비슷한 의미를 지니다 보니 자주 혼용되어 사용된다.

하지만, 두 단어의 정의를 엄격히 살펴볼 경우 차이는 명확하다.

 

웹 스크래핑은 웹 사이트 상에서 원하는 정보를 추출하는 방법으로 "정보 추출" 에 초점이 맞춰져 있다.

반면, 웹 크롤링의 경우 주로 "탐색"에만 초점이 맞춰져 있다.

 

 

합법적인 크롤링

크롤링은 어느 누구나 할 수 있다는 장점이 있지만, 누구나 할 수 있다는 단점도 존재한다.

또한, 사용자가 원하는 페이지에 원하는 데이터를 추출하기 때문에 웹 크롤링이 불법으로 간주되는 경우도 있다.

 

하지만, 웹 크롤링 자체는 불법이 아니며 크롤링은 일반적으로 웹 사이트를 이용하는 것과 기본적인 프로세스는 같으므로 불법이라고 할 수 없다.

 

 

그러면 왜 도대체 불법인 경우가 발생하지??

크롤링이 불법(위법)으로 판결이 내려지는 경우는 크게 수집한 데이터를 상업적으로 이용하여 이익을 취하는 경우, 크롤링 대상 서버에 부하를 일으킨 경우이다.

 

만약 크롤링을 해서 금전적인 이익을 취하거나 상업적으로 이용한 경우 불법에 해당한다. 그에 대한 판결은 숙박 업체 DB 무든 크롤링 사건으로 관련 기사는 다음과 같다. 

https://www.etnews.com/20200211000365

여기어때, 야놀자 DB 무단수집 위법 판결…심명섭 전 대표 1심 집유

 

 

본 포스팅을 참고하여 작성하였습니다.

https://brunch.co.kr/@8d1b089f514b4d5/33

합법적으로 ‘웹 크롤링’하는 방법 (上)

 

 

이러한 판결을 봤을 때 공부 등 다양한 목적으로 크롤링 하는 것은 좋지만 어떠한 경우 불법으로 간주되는지 정확히 알고 진행하여야 한다.

 

 

오류, 잘못된 점 또는 궁금한 점이 있으시다면 댓글 남겨주세요❗