🖥️[Python] 7-1-3. 웹크롤링 (주식 데이터 가져오기)

출처 : 네이버 증권 : 코스피200

코스피200 주가 데이터 가져오기

• 앞서 소개한 데이터 추출 방법을 통해 코스피200의 체결가와 체결 날짜를 첫 페이지부터 마지막 페이지까지 모든 데이터를 추출하는 코드를 작성해봅시다.
  
• 해당 링크에서는 소스 프레임을 따로 만들고 그 프레임을 페이지에 보여주는 방식을 사용하기 때문에 데이터를 보다 쉽게 가져오려면 프레임의 소스를 이용하여 크롤링하는 것이 더욱 좋습니다.

날짜 데이터 추출

import bs4
import requests

# 해당 프레임의 url을 복사하여 page_url에 저장하고 f-string을 활용해 page_no을 format한다.
page_no = 1
page_url = f"https://finance.naver.com/sise/sise_index_day.naver?code=KPI200&page={page_no}"

# 해당 url에서 response를 받아 그것을 text로 변환하고 source에 저장한 뒤
source = requests.get(page_url).text

# bs4 라이브러리를 활용해 보기 쉽게 source를 변환한다.
source = bs4.BeautifulSoup(source)

# 날짜 데이터가 저장되어 있는 td class를 찾아서 날짜 데이터만 추출하여 data_list에 저장한다.
dates = source.find_all('td', class_="date")
date_list = []

for date in dates:
    date_list.append(date.text)

체결가 데이터 추출

# 같은 방식으로 체결가 데이터가 저장되어 있는 td class를 찾아서 체결가 데이터만 추출하여 price_list에 저장한다.
prices = source.find_all('td', class_="number_1")
price_list = []

# 전일비/등락률/거래량/거래대금 들도 같은 태그를 공유하고 있기 때문에 slicing을 이용하여 체결가 데이터만 표시하도록 한다.
for price in prices[::4]:
    price_list.append(price.text)

price_list

마지막 페이지 번호 찾기

• 위와 같이 한 페이지의 데이터를 저장하는 것을 for문을 사용하여 마지막 페이지까지 추출하면 모든 주가 데이터를 저장할 수 있다.
• 마지막 페이지의 번호를 찾으려면 해당 tag를 찾아서 마지막 페이지의 번호 데이터를 추출해야한다.

<td class="pgRR">
	<a href="/sise/sise_index_day.naver?code=KPI200&amp;page=719">맨뒤
		<img src="https://ssl.pstatic.net/static/n/cmn/bu_pgarRR.gif" width="8" height="5" alt="" border="0">
	</a>
</td>

• 위 HTML source에서 마지막 페이지는 719인 것을 알 수 있다. 따라서 숫자만 추출하기 위해서는 다음과 같다.

# td tag중에 class가 pgRR인 태그를 찾아서, 그 하위에 있는 a tag의 href 속성값을 가져온다.
last_url = source.find_all("td", class_="pgRR")[0].find_all("a")[0]["href"]

#'/sise/sise_index_day.naver?code=KPI200&page=719' 에서 마지막 3글자를 때어내면 원하는 마지막 페이지 숫자를 추출할 수 있다.
last_page = int(last_url.split('&page=')[-1])

하나로 합쳐서 구현하기

import requests
import bs4
import pandas as pd

# 모든 변수 초기화
date_list = []
price_list = []
page_no = 1

page_url = f"https://finance.naver.com/sise/sise_index_day.naver?code=KPI200&page={page_no}"
source = requests.get(page_url).text # 
source = bs4.BeautifulSoup(source)
source.prettify()

# 마지막 페이지 번호 찾기
last_url = source.find_all('td', class_="pgRR")[0].find_all('a')[0]['href']
last_page = int(last_url.split('&page=')[-1])

# for문을 이용하여 첫 번째 페이지부터 마지막 페이지까지의 모든 날짜 데이터와 체결가 데이터를 추출한다.
for page_no in range(1, last_page + 1) :
    page_url = f"https://finance.naver.com/sise/sise_index_day.naver?code=KPI200&page={page_no}"
    source = requests.get(page_url).text
    source = bs4.BeautifulSoup(source)
    dates = source.find_all('td', class_="date") # 날짜 데이터 추출
    for date in dates :
        date_list.append(date.text)
    
    prices = source.find_all('td', class_="number_1") # 체결가 데이터 추출
    for price in prices[::4] :
        price_list.append(price.text)

# 추출된 데이터를 Dataframe 형태로 저장하고 결측치는 제거한다.
df_kosdaq = pd.DataFrame({"date" : date_list,
                         "price" : price_list}).dropna()
# Dataframe을 엑셀파일로 저장한다.                         
df_kosdaq.to_excel("kpi200.xlsx", index = False)