🖥️[Python] 7-1-1. 웹크롤링 (requests 라이브러리, beautifulsoup4 라이브러리)

thisk336·2023년 6월 12일

Python

목록 보기

9/17

requests 라이브러리

requests는 파이썬에서 HTTP를 사용하기 위해 쓰여지는 라이브러리로, 오늘날 가장 많이 다운로드 되는 Python 패키지 중 하나입니다.

# requests 패키지 설치
!pip install requests

requests 패키지의 다양한 함수

# 어떤 방식의 HTTP 요청을 하느냐에 따라서 해당하는 이름의 함수를 사용한다.
response = requests.get() # get 방식
response = requests.post() # post 방식
response = requests.put() # put 방식
response = requests.delete() # delect 방식

beautifulsoup4 패키지

beautifulsoup4(bs4)는 HTML source를 tag별 계층 구조를 파악하기 쉽게 parse tree 형태로 변환해주는 라이브러리 입니다.
bs4를 사용하면 손쉽게 HTML source에서 원하는 정보를 추출할 수 있습니다.
find, find_all 함수를 이용하면 원하는 tag와 속성에 맞는 모든 정보를 가져올 수 있습니다.

# page source를 가져온다.
import requests

page_no = 1
page_url = f"https://finance.naver.com/sise/sise_index_day.naver?code=KPI200&page={page_no}"

source = requests.get(page_url).text
source

가져온 source를 확인하면 다음과 같습니다.

'<html lang="ko">\n<head>\n<meta http-equiv="Content-Type" content="text/html; charset=euc-kr">\n<title>네이버 증권</title>\n\n<link rel="stylesheet" type="text/css" href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/newstock.css">\n<link rel="stylesheet" type="text/css" href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/common.css">\n<link rel="stylesheet" type="text/css" href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/layout.css">\n<link rel="stylesheet" type="text/css" href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/main.css">\n<link rel="stylesheet" type="text/css" href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/newstock2.css">\n<link rel="stylesheet" type="text/css" href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/newstock3.css">\n<link rel="stylesheet" type="text/css" href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/world.css">\n</head>

이것을 bs4 라이브러리를 사용해 parse tree로 변환하면

# beautifulsoup4를 불러옵니다.
import bs4

# BeautifulSoup 함수를 사용해서 불러온 html source를 "lxml" parser로 parsing 합니다.
source = bs4.BeautifulSoup(source)

# bs4의 prettify() 함수는 HTML source를 tab을 기준으로 "이쁘게" 보여줍니다.
print(source.prettify())

<html lang="ko">
 <head>
  <meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>
  <title>
   네이버 증권
  </title>
  <link href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/newstock.css" rel="stylesheet" type="text/css"/>
  <link href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/common.css" rel="stylesheet" type="text/css"/>
  <link href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/layout.css" rel="stylesheet" type="text/css"/>
  <link href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/main.css" rel="stylesheet" type="text/css"/>
  <link href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/newstock2.css" rel="stylesheet" type="text/css"/>
  <link href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/newstock3.css" rel="stylesheet" type="text/css"/>
  <link href="https://ssl.pstatic.net/imgstock/static.pc/20230519195543/css/world.css" rel="stylesheet" type="text/css"/>
 </head>

다음과 같이 web crawling을 하기 위해 필요한 정보들을 보다 쉽게 찾을 수 있습니다.

thisk336

이전 포스트

🖥️[Python] 6. 함수 (function)

다음 포스트

🖥️[Python] 7-1-1. 웹크롤링 (requests 라이브러리, beautifulsoup4 라이브러리)

Python

requests 라이브러리

requests 패키지의 다양한 함수

beautifulsoup4 패키지

🖥️[Python] 6. 함수 (function)

🖥️[Python] 7-1-2. 웹크롤링 (필요한 데이터 추출하기)

0개의 댓글