🖱️크롤링(Crawling)의 기초

여는 말

리액트와 JS만 사용하다보니 사이드 언어도 한 번 공부해보고 싶어서 Python을 배우기 시작한 이유도 있지만 , 항상 자동 로그인은 어떻게 되는거지? 브라우저가 알아서 움직일 방법은 없나? 이런 의문을 품고 있었기 때문에 크롤링, 자동화에 대해 배우고 싶었다. 그래서 시작한 Python으로 크롤링 하기 🤞🏻✨

01. 크롤링이란?

• 크롤링(Crawling) : 웹페이지의 구조를 분석하여 원하는 정보를 가져오는 것
• 크롤러(crawler) : 크롤링하는 소프트웨어

그렇다면 크롤링의 필요성은 무엇일까?🤔

예를들어, 휴대폰 케이스를 구매하려는 상황이다. 인터넷으로 사고싶은 케이스의 가격을 비교하기 위해 "이름" , "가격" , "구입처 링크"를 정리 하려고 한다. 사고싶은 케이스가 30개인데 .. 이 케이스들의 이름, 가격, 구입처 링크를 한 번에 가져올 방법은 없을까? 할 때 크롤링이 필요하다.

---

02. 크롤링의 종류

💾 정적 크롤링

• 한 페이지 안에서 원하는 정보가 모두 드러나는 정적 데이터를 수집하는 방법
• 속도가 빠르다
• 사용하는 라이브러리 : requests + BeautifulSoup
  기업의 주식 현재가 등 주식정보를 얻기 위해 네이버의 증권 페이지를 보면 한번에 정보를 얻을 수 있다. 이와같이 한 페이지 안에 원하는 정보를 수집할 수 있는게 정적 크롤링이다.

💾 동적 크롤링

• 페이지 이동이 있어야 정보가 드러나는 동적 데이터를 수집하는 방법
• 속도가 느리다
• 사용하는 라이브러리 : selenium
  로그인을 하기 위해서 로그인 버튼을 먼저 눌러야 아이디와 비밀번호를 입력할 수 있는 페이지로 이동을 한다. 따라서 이렇게 페이지 이동이 있어야 정보가 드러나는 동적데이터를 수집하는 방법이 동적 크롤링이다.

---

03. Python 라이브러리

라이브러리란?

• 프로그램 개발을 쉽게 하기 위한 도구

---

🛠️ requests

• HTTP 통신을 위한 파이썬 라이브러리
• HTTP 요청으로 직접 HTML를 다운로드 받는 방식
• 동적 사이트는 크롤링 하기 어려움

import requests

response= requests.get("http://www.naver.com")
html= response.text
print(html)

이렇게 requests를 이용하여 http://www.naver.com 을 불러오면, 터미널에는 네이버 메인페이지 의 html 소스코드가 출력된다.

---

🛠️ BeautifulSoup

• HTML 분석을 위한 파이썬 라이브러리
• requests를 이용하여 크롤링한 웹페이지에서 정보를 쉽게 추출하는 라이브러리

import requests
from bs4 import BeautifulSoup

response= requests.get("https://www.naver.com")
html= response.text
soup = BeautifulSoup(html, "html.parser") 
word=soup.select_one("#topAsideArea")
print(word)

soup = BeautifulSoup(html, "html.parser") 구문은 requests로 불러온 html 코드가 문자열이기 때문에 파싱하기 어려워서 "html.parser" 이라는 html 번역 선생님을 사용하여 쉽게 만들어준 후, soup에 담는다.

word=soup.select_one("#topAsideArea") 구문에서 #topAsideArea 은 네이버 메인페이지의 메뉴 부분 id값이다. 저 구문을 통해 id값이 속한 html 코드를 가져와서 터미널에 출력된다.

---

🛠️ selenium

• 웹 자동화에 사용되는 프레임워크
• 브라우저를 실제로 띄워서 사람처럼 동작하도록 만들 수 있음

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

#크롬 드라이버 자동 업데이트
from webdriver_manager.chrome import ChromeDriverManager

# 브라우저 꺼짐 방지
chrome_options = Options()
chrome_options.add_experimental_option("detach",True)

service = Service(executable_path=ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=chrome_options)
driver.get("https://www.naver.com")

위 코드의 처음 4줄은 selenium 기본설정이다.

service = Service(executable_path=ChromeDriverManager().install()) , driver = webdriver.Chrome(service=service,options=chrome_options) 은 ChromeDriverManager를 통해서 크롬 드라이버를 자동으로 설치한다는 의미이다.

자동으로 브라우저를 띄우기 위하여 이렇게 driver.get("https://www.naver.com") 띄울 브라우저의 주소를 적어줘야 한다.

🚨 코드를 실행시켰을 때 브라우저가 잘 실행되는가 싶다가 꺼져버리는 경우가 있다. 이 두 줄을 실행하면 브라우저 꺼짐 현상을 방지할 수 있다. chrome_options = Options() , chrome_options.add_experimental_option("detach",True)