Python을 활용해 할 수 있는 여러 기능들

eoblue·2022년 7월 29일
0

python

목록 보기
3/3

python을 활용해 할 수 있는 기능들을 몇가지 소개하겠습니다.

  1. 웹크롤링
  • crawling(크롤링)이란?
    -웹사이트를 돌아다니며 contents를 수집하는 행위로, crawler(크롤러)라고 하는 봇을 이용합니다. 크롤링은 웹상의 위치를 찾는 것을 말하고, 그 위치의 데이터 중 필요한 데이터만 뽑아내는 것을 pharsing(파싱)이라고 합니다.
    파싱은 주로 HTML, CSS 등으로 추출합니다.

python에서는 requests와 beautifulsoup이라는 패키지로 웹크롤링을 쉽게 할 수 있습니다.
코드와 주석을 보면서 설명하겠습니다.

from bs4 import BeautifulSoup
import requests
#요청과 응답을 위한 request 패키지와
#웹크롤링을 위한 BeautifulSoup 패키지를 import

url = "https://velog.io/"
response = requests.get(url) #url 주소로 요청 보내고
soup = BeautifulSoup(response.text, 'html.parser') #BeautifulSoup라는 함수를 이용하여
#요청 받은 값을 특정 형식에 저장.
rank = 1

results = soup.findAll('h4')
#velog의 게시물 제목만 모으기 위해서 제목에 공통으로 들어간
#h4태그만을 results에 모두 저장

for result in results:
    print("velog", rank, "번째 글 ", result.get_text())
    rank+= 1

2.API 사용

profile
문과생(~2021) -> 컴공(2022~), 멋사 10기 백엔드(2022~)

0개의 댓글