selenium 라이브러리

• bs4 라이브러리는 동적 페이지를 제어할 수 없기 때문에 동적으로 만든 데이터를 크롤링 하기위해서는 selenium 라이브러리를 사용해야 합니다.

• Chromedriver 와 같은 web driver를 제어하기 위해서 사용되는 라이브러리 입니다.
  

• Chromedriver를 사용하기 위해서는 아래의 링크에서 자신의 Chrome 버전에 맞는 driver를 다운로드 한 뒤 프로젝트 폴더에 넣어줘야 합니다.
  ChromeDriver 다운로드

!pip install selenium

from selenium import webdriver

webdriver.Chrome('chromedriver')

• selenium을 사용할 때 해야되는 기본적인 함수가 2가지 있습니다.
• webdriver.Chrome()과 driver.get() 입니다.
• webdriver.Chrome()은 실제 chromedriver가 존재하는 위치에서 chromedriver를 실행할 수 있게 불러오는 함수입니다.
• driver.get()은 selenium이 제어하고 있는 chromedriver가 해당 URL로 접속하게 하는 함수입니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
# opinet.co.kr에 접속합니다.

driver = webdriver.Chrome('chromedriver')
driver.get("https://www.opinet.co.kr/searRgSelect.do")
# 2초 쉽니다. (페이지 로딩을 위해)
time.sleep(2)
# <a href="javascript:goSubPage(0,0,99);"><span>지역별</span></a>
# 메인 페이지에서 유가 가격 검색 페이지로 이동합니다. javascript를 활용합니다.
driver.execute_script('goSubPage(0,0,99)')

selenium에서 웹페이지 원소 접근하기

selenium 4.3.0 버전부터는 더이상 find_element_by_000 과 같이 사용하지 않고 두 가지 방법으로 사용할 수 있습니다.

# 첫 번째 방법
driver.find_element("xpath", '//*[@id="SIDO_NM0"]')
# 두 번째 방법
from selenium.webdriver.common.by import By
driver.find_element(By.XPATH, '//*[@id="SIDO_NM0"]')

• find_elements() 함수에는 다음과 같은 옵션을 지정하여 사용합니다.