python에서는 requests와 beautifulsoup이라는 패키지로 웹크롤링을 쉽게 할 수 있습니다.
코드와 주석을 보면서 설명하겠습니다.
from bs4 import BeautifulSoup
import requests
#요청과 응답을 위한 request 패키지와
#웹크롤링을 위한 BeautifulSoup 패키지를 import
url = "https://velog.io/"
response = requests.get(url) #url 주소로 요청 보내고
soup = BeautifulSoup(response.text, 'html.parser') #BeautifulSoup라는 함수를 이용하여
#요청 받은 값을 특정 형식에 저장.
rank = 1
results = soup.findAll('h4')
#velog의 게시물 제목만 모으기 위해서 제목에 공통으로 들어간
#h4태그만을 results에 모두 저장
for result in results:
print("velog", rank, "번째 글 ", result.get_text())
rank+= 1
2.API 사용