이 시리즈는 노마드 코더의 파이썬으로 웹 스크래퍼 만들기 강좌를 따라하며 만든 프로젝트입니다.
웹스크랩핑(Web Scrapping)이란?
웹에 있는 데이터를 가지고 오는 기술을 일컫습니다.
사용한 라이브러리
- Requests: HTTP for Humans
- beautifulsoup
사용 툴(web editor)
Tip
repl.it에서 특정 라이브러리 설치하기
-
에디터 좌측에서 라이브러리 버튼을 누르세요
-
requsts https를 검색 후, 설치하고 싶은 라이브러리를 좌클릭합니다.
-
+(플러스) 버튼을 눌러 설치를 완료하세요.
크롬 개발자 도구 (Element)
Element 탭에서 html의 전문을 볼 수 있습니다. 특히 찾고자하는 html 요소를 선택해서 쉽게 찾아보세요.
일반적인 Scrapping PipeLine
- 스크래핑할 url을 request 라이브러리로 html을 가져옵니다.
- beautifulsoup4 라이브러리로 html 태그에서 필요한 정보를 객체로 추출하여 필요한 데이터를 찾아냅니다.
ref
1. https://github.com/psf/requests
2. https://www.crummy.com/software/BeautifulSoup/bs4/doc/
쫓다.