들어가며

오늘은 python으로 매~~우 간단한 방법을 통해

네이버에서 실시간 검색어 정보를 가져오는 실습을 해보겠습니다.

제 블로그의 저번 글에서 python을 설치하지 않고도 실행할 수 있게 해주는 google colab에 대해서 다뤘었습니다.
파이썬을 설치하지 않고 실행하는 방법, google에서 만든 웹서비스! - 링크

오늘은 이 colab 환경에서 python으로 웹 정보 가져오는 실습을 진행해보겠습니다.

🕐 웹 크롤링 시작하기

import requests

import requests

가장 먼저 필요한 작업은 'requests' 모듈을 불러오는 것입니다.

원래 'requests' 는 파이썬 내장 모듈이 아닙니다.

때문에 로컬 환경에서 이 코드를 실행하기 위해서는 커맨드 창에서 pip install requests를 통해 깔아주어야 하지만?

colab에선 그럴 필요가 없습니다. 자주 사용되는 모듈과 패키지들은 거의 미리 준비되어있다고 보면 될 것 같습니다.

colab에서 import requests를 입력하고 shift+enter로 실행시켜줍시다.

requests.get

우리는 requests 모듈에서 get이라는 함수를 사용할 겁니다.

사용방법은 매우 간단합니다.

requests.get으로 함수를 가지고와서 첫 번째 인자로 "자신이 가져오고 싶은 웹 페이지의 url" 을 입력해주면 됩니다.

여기서는 url로 네이버의 홈페이지를 입력해보겠습니다.

그러면 그에 대한 return으로 <Response [200]>을 던져주는 것을 볼 수 있습니다. Response 코드 200은 주로 웹에서 통신 성공에 대한 리턴값으로 쓰이는 코드입니다.

자 그러면 requests.get으로 통신이 성공했다는건 알겠는데,

그래서 우리가 원하는 네이버의 웹 페이지 정보는 어디에서 볼 수 있을까요?

requests.get의 return값에 .text를 붙여주면 해당 웹페이지가 응답으로 준 웹 데이터를 str 형식으로 확인해볼 수 있습니다. ( 나중에 .json 을 붙여서 API를 사용하는 글도 올리겠습니다 )

무려 길이가 187,055에 달하는 정보를 str 형식으로 가져올 수 있습니다.

import requests
html_info = requests.get(url).text

실제로 코딩을 할 때는 받아온 str 값을 html_info 같은 변수에 담아줄 수 있겠죠?

그렇게 받아온 str은

실제로 html 코드로 둘러쌓인 네이버 홈 페이지의 정보를 담고 있습니다!

음... 그런데 각종 html 언어와 기호들이 매우 신경쓰이는군요..

이 어쩌구저쩌구에 말고 네이버 실시간 검색어 같은 특정한 정보들만 가져올 수 있는 방법은 없을까요?

이럴 때 쓰라고 만들어진 모듈이 또 하나 있으니..

바로 BeautifulSoup입니다.

BeautifulSoup는 텍스트로 이루어진 html 정보를 저희 입맛대로 썰고 다지고 요리할 수 있게 해주는 엄청나게 효과적인 모듈입니다.

---

다음 글에서는 가져온 데이터뭉치를 필요한 데이터로 가공하는 BeautifulSoup, bs4에 대해서 알아보겠습니다.