출처 : 한국석유공사 오피넷

유가 데이터 가져오기

• 먼저 'opinet.co.kr'은 동적 페이지로 작동되기 때문에 selenium과 chromedriver를 사용하여 페이지에 접속해야 합니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

driver = webdriver.Chrome('chromedriver') #Chrome driver를 불러와서 driver 변수에 저장힌다.
driver.get("https://www.opinet.co.kr/searRgSelect.do") 
# driver에 url을 접속시켜 webdriver를 킨다.

time.sleep(2) # 웹페이지를 키고 바로 작동하면 인터넷 속도 등 요류가 발생할 수 있기 때문에
              # 2초 쉰다.

• 해당 페이지에서 유가 데이터를 가져오려면 먼저 시/도를 선택한 후 시/군/구를 선택해 조회를 누르고 수집된 가격을 엑셀저장 버튼을 클릭하여 가져와야 합니다.
• 따라서 시/도 목록과 시/군/구 목록을 먼저 추출한 뒤 얻어온 목록으로 반복문을 수행하면서 조회를 누르고 엑셀저장을 누르는 자동화된 웹 크롤러를 구축해야 합니다.

시/도 목록 수집

sido = driver.find_element(By.XPATH, '//*[@id="SIDO_NM0"]')
#Xpath를 활용해 시/도에 있는 모든 element를 불러온 후 저장한다.

sido_names = sido.find_elements(By.TAG_NAME,'option')
#Tag_name을 활용해 시/도에 있는 모든 option 값을 sido_names 변수에 저장한다.

sido_list = [] #sido_list라는 리스트를 만들어 초기화 시켜준다.

for sido_name in sido_names : # 저장된 sido_names를 for문을 사용하여
    sido_list.append(sido_name.get_attribute('value')) # append함수를 사용해 sido_list에 저장한다.
sido_list = sido_list[1:] # 필요없는 데이터를 지운다.

시/군/구 목록 수집

sigungu = driver.find_element(By.XPATH, '//*[@id="SIGUNGU_NM0"]')
#Xpath를 활용해 시/군/구에 있는 모든 element를 불러온 후 저장한다.

sigungu_names = sigungu.find_elements(By.TAG_NAME,'option')
#Tag_name을 활용해 시/군/구에 있는 모든 option 값을 sigungu_names 변수에 저장한다.

sigungu_list = [] #sigungu_list라는 리스트를 만들어 초기화 시켜준다.

for sigungu_name in sigungu_names : # 저장된 sigungu_name을 for문을 사용하여
    sigungu_list.append(sigungu_name.get_attribute('value')) # append함수를 사용해 sigungu_name에 저장한다.
sigungu_list = sigungu_list[1:] # 필요없는 데이터를 지운다.

조회 버튼 클릭하기

# "조회" 버튼의 xpath를 찾아서 클릭한다.
driver.find_element(By.XPATH, '//*[@id="searRgSelect"]').click()

엑셀 저장 버튼 클릭하기

# "엑셀저장" 버튼의 xpath를 찾아서 클릭한다.
driver.find_element(By.XPATH, '//*[@id="glopopd_excel"]').click()

코드를 통합하여 하나의 코드로 만들어봅시다.

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

driver = webdriver.Chrome('chromedriver') #Chrome driver를 불러와서 driver 변수에 저장힌다.
driver.get("https://www.opinet.co.kr/searRgSelect.do") 
# driver에 url을 접속시켜 webdriver를 킨다.

time.sleep(2) # 웹페이지를 키고 바로 작동하면 인터넷 속도 등 요류가 발생할 수 있기 때문에
              # 2초 쉰다.

sido = driver.find_element(By.XPATH, '//*[@id="SIDO_NM0"]')
#Xpath를 활용해 시/도에 있는 모든 element를 불러온 후 저장한다.
sido_names = sido.find_elements(By.TAG_NAME,'option')
#Tag_name을 활용해 시/도에 있는 모든 option 값을 sido_names 변수에 저장한다.

sido_list = [] #sido_list라는 리스트를 만들어 초기화 시켜준다.
for sido_name in sido_names : # 저장된 sido_names를 for문을 사용하여
    sido_list.append(sido_name.get_attribute('value')) # append함수를 사용해 sido_list에 저장한다.
sido_list = sido_list[1:] # 필요없는 데이터를 지운다.

for sido_name in sido_list : # for문을 이용해서 가져온 시/도 데이터를 전달한다.
    sido = driver.find_element(By.XPATH, '//*[@id="SIDO_NM0"]') # 페이지가 로딩될 때 마다 xpath를 찾으면서
                                                                # for문을 돌려줘야 에러가 발생하지 않는다.
    sido.send_keys(sido_name) #시/도 데이터를 웹페이지에 전달한다.
    time.sleep(2) # 2초 쉰다.

    sigungu = driver.find_element(By.XPATH, '//*[@id="SIGUNGU_NM0"]') # 시/군/구의 데이터가 저장되어 있는 Xpath를 찾아서
                                                                      # sigungu 변수에 저장한다.
    sigungu_names = sigungu.find_elements(By.TAG_NAME,'option') #sigungu에서 'Option' 에 해당하는 elements를 
                                                                #sigungu_names 변수에 저장한다.

    sigungu_list = [] #sigungu_list라는 리스트를 만들어 초기화 시켜준다.
    for sigungu_name in sigungu_names : #for문을 이용하여 가져온 시/군/구 데이터를 전달한다.
        sigungu_list.append(sigungu_name.get_attribute('value')) # append함수를 사용해 sigungu_list에 저장한다.
    sigungu_list = sigungu_list[1:] # 필요없는 데이터를 지운다.
    for sigungu_name in sigungu_list :
        sigungu = driver.find_element(By.XPATH, '//*[@id="SIGUNGU_NM0"]')
        time.sleep(2)
        sigungu.send_keys(sigungu_name) #시/군/구 데이터를 웹페이지에 전달한다.
        time.sleep(2)
        driver.find_element(By.XPATH, '//*[@id="searRgSelect"]').click() #조회 버튼의 xpath를 불러와 클릭한다.
        time.sleep(2)
        driver.find_element(By.XPATH, '//*[@id="glopopd_excel"]').click() #엑셀저장 버튼의 xpath를 불러와 클릭한다.
        time.sleep(2)