[Python] Shadow DOM 크롤링 - Selenium

Selenium No Such Element 에러

최근 Selenium을 사용하여 크롤러를 구축할 일이 생겨 평소와 같이 Xpath, Selector 등을 사용하여 구축을 시도하였다.

 

하지만, Selenium 사용 시 가장 흔한 에러인 selenium.common.exceptions.NoSuchElementException: Message:no such element:Unable to locate element:{"method":"css selector", "selector':"실제 사용한 구문" 에러가 발생하여 모든 방법을 동원해 수정하였으나 오류는 해결되지 않았다.

 

해당 에러를 해결하는 방법에는 클래스 명에 공백이 존재하여 공백 대신에 점(.)을 사용하여 해결, 로딩 시간으로 인한 오류를 방지하기 위한 시간 지연 코드 추가, 동일한 클래스 명 등 여러 방법이 존재하지만 모든 방법이 통하지 않았다.

(해당 에러 해결 방식은 해당 포스팅 글을 참고하였다.)

https://zeuskwon-ds.tistory.com/67

[selenium] 크롤링 no such element 오류 해결

 

 

Shadow DOM 

모든 방법을 동원하였으나 해결되지 않아 크롤링 대상 사이트의 코드를 유심히 보던 중 다음과 같이 #shadow-root 문자열이 여러 개 존재하는 것을 발견하였다.

#Shados-root

 

해당 코드를 구글링한 결과 Shadow DOM 요소가 적용된 것을 알 수 있었다.

 

일반적으로 HTML 코드를 살펴보았을 때 #document, #shadow-root 문자열이 존재하고 하단에 또 HTML 코드가 존재할 때 Shadow DOM 요소가 적용되어 있다고 판단할 수 있다.

 

Shadow DOM이란?

HTML 개발 시 코드가 복잡해지는 것을 방지하기 위해 숨겨놓은 HTML 요소이다.

일반 사용자가 볼 수 없으며 F1키를 누른 후 개발자 도구를 선택하면 숨겨진 DOM 요소까지 볼 수 있는 옵션을 체크할 경우에는 모두 볼 수 있다.

Show user agent shadow DOM

 

Shadow DOM 요소가 적용되었을 때 요소가 숨겨진 상태이므로 크롤링을 시도하면 원하는 element를 찾지 못하여 No such element 에러가 발생하는 것이었다.

 

 

 

Shadow DOM 크롤링 방법

Selenium에서는 현재 Shadow DOM에 대한 기능을 지원하는지 모르겠으나 pyshadow라는 플러그인이 존재한다.

https://pypi.org/project/pyshadow/

pyshadow

 

해당 플러그 인을 사용할 경우 Shadow DOM 요소에 대한 접근이 가능하며 설치는 일반 모듈과 동일하게 다음과 같은 명렁어로 설치한다.

pip install pyshadow

 

pyshadow의 import는 다음과 같이 한다.

from pyshadow.main import Shadow

 

이후 실제 코드에서는 driver.get('원하는 URL) 코드 이후 Shadow 객체를 선언하고 기존 사용 방식과 동일하게 find_element()를 사용하면 원하는 결과를 크롤링 할 수 있다. 일부 코드는 다음과 같다.

driver.get('크롤링 대상 URL')

shadow = Shadow(driver) # Shadow 객체 선언
temp = shadow.find_element('~~')

 

 

 

오류, 잘못된 점 또는 궁금한 점이 있으시다면 댓글 남겨주세요❗