웹 크롤링

김범주·2024년 9월 22일
0

AIVLE

목록 보기
13/21
post-thumbnail
#requests 이용
정적인 페이지 : html 문자열로 받아서 파싱
동적인 페이지 : json 문자열로 받아서 파싱

#selenium이용
브라우저를 직접 열어서 데이터를 받음

json > html > selenium

아래 예시는 네이버 코스피 지수를 받아와서 데이터프레임화
#user-agent 수정
어떤 페이지들은 그냥 request를 보내면 받아주지 않는 경우가 있음
페이지마다 다르지만 headers에 user-agent를 추가해서 보내면 받아지는 경우도 있음

#secret key
request에 특정 키를 요구하는 경우도 있음. 개인적으로 발급받은 키는 공유하지 말것!

아래는 user-agent 수정해서 요청
profile
개발꿈나무

0개의 댓글