📌 웹 크롤링 & 스타벅스 크롤링

웹 크롤링

1. 설치 라이브러리

pip install requests
 # http 요청처리를 위해 사용하는 모듈
pip install BeautifulSoup4
 # 웹 크롤링 또는 스크래핑 할 때 사용하는 모듈
pip install selenium
 # 웹 브라우저를 컨트롤하여 웹 UI를 Automation하는 도구 중 하나
pip install webdriver-manager

위의 라이브러리를 설치 후 웹 크롤링을 진행해보려고 한다.
미니콘다 가상환경이 설치되어있다는 가정하에 진행하였다.

2. 스타벅스 페이지 살펴보기

나는 스타벅스 메뉴 중 '음료'리스트의 품목명과 이미지 주소를 따오려고 한다.
개발자도구를 눌러서 살펴보면, img src에 이미지 소스와 alt 태그 안에 음료 name이 있는 것을 알 수 있다.
그 상위 태그를 보면, 클래스명이 'menuDataSet'인 li태그로 하나의 상품을 나타내고 있다.

3. 코드 짜보기

가상환경 실행 후, 파일 만들기

import csv
import re
import time

from bs4 import BeautifulSoup
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

필요한 라이브러리 import 하기
✋🏻 여기서! 내가 에러 난 부분이 있었다. 제일 마지막 줄을 임포트 하지 않고 진행하니,
chromedriver executable needs to be in PATH오류가 났다😂
구글링 해보니, 제일 마지막 줄처럼 import 후
webdriver.Chrome(ChromeDriverManager().install())
을 입력해줘야했다! 위 코드는 아래 코드에 있다.

---

임포트 후, csv파일에 저장해야 하니, csv파일을 생성한다.

filename = "starbucks_product.csv"
csv_open = open(filename, "w+", encoding="utf-8")
csv_writer = csv.writer(csv_open)

open명령어로 w+(읽기+쓰기 모드로 열기)로 파일을 생성한다

모드	설명
r	파일을 읽기 전용 모드로 열기
r+	읽기+쓰기 모드, 덮어쓰기로 파일을 쓴다
w	파일을 쓰기 모드로 열기
w+	읽기+ 쓰기 모드, 기존의 파일을 지우고 파일을 쓴다
a	파일에 내용 추가하기 모드로 열기
t	텍스트 모드로 파일 열기
b	바이너리 모드로 파일 열기

write명령어로 리스트 넣기
만약 한 줄에 넣고자 한다면, writelines 쓰기!

---

 driver = webdriver.Chrome(ChromeDriverManager().install())
 url = "https://www.starbucks.co.kr/menu/drink_list.do"
 driver.get(url)
 time.sleep(7)

웹이 켜지고, 아래 url로 접속 할 수 있도록 driver~ 내용을 입력한다.
get메소드로 url접속 !!!
혹시나, 크롬 로딩 되는데 시간이 걸릴 수 있으니 7초 기다리자😀

---

html = driver.page_source
soup = BeautifulSoup(html, 'html.parser')
drinks = soup.findAll("li", {"class": re.compile("menuDataSet")})

1) parser : 문장의 구조 분석

BeautifulSoup(html, 'html.parser')
내가 접속한 페이지의 문자열은 html구조로 되어 있어~ 그러니까 html로 분석해줘!

🚦여기서 잠깐! 나는 html.parser를 썼는데 이 parser의 종류는 여러가지가 있다.
그 중 가장 대표적인 두가지! html.parser와 lxml

parser	사용방법	장점	단점
html.parser	BeautifulSoup(markup, "html.parser")	각종 기능 완비, 적절한 속도	이전 버전의 파이썬에 대해 호환성이 좋지 않음 ( 파이썬 2.7.3 이나 3.2.2 이전 버전에서)
lxml	BeautifulSoup(markup, "lxml")	아주 빠름, 이전 버전 파이썬에 꽤 잘 호환됨	외부 C 라이브러리 의존

🤷‍♂️ lxml이 좀 더 빠르지만, 검색해본 결과 전문적이고 많은 양의 작업을 하는게 아니라면 보통은 html.parser를 쓴다고 한다.
또한 정확하게 html로 마크업이 안되어 있을 경우, lxml로 처리가 가능하다.

출처: parser출처

2) 정규표현식

이전에 벨로그에 한번 정리한 적이 있는데, 다시 한번 정리하려고 한다.
이전에 정리한 벨로그(정규표현식)

print("m.group():", m.group())  # 일치하는 문자열 반환
print("m.string():", m.string)  # 입력받은 문자열
print("m.start():", m.start())  # 일치하는 문자열의 시작 index
print("m.end():", m.end())      # 일치하는 문자열의 끝 index
print("m.span():", m.span())    # 일치하는 문자열의 시작/끝 index

Ex.
def print_match(m):
    if m:
      print("m.group():", m.group())  
      print("m.string():", m.string) 
      print("m.start():", m.start())    
      print("m.end():", m.end())      
      print("m.end()", m.span())    
      
p = re.compile("ca.e") 
m = p.search("careless") #search는 주어진 문자열 중에 일치하는게 있는지 확인한다
print_math(m)

#결과
m.group()  : care
m.string() : careless
m.start()  : 0
m.end()    : 4
m.end()    : (0,4)

---

그리고 다음 코드를 살펴보자
정규표현식을 활용하여 일치하는 부분을 drinks에 넣었고,

for drink in drinks:
    image_tag = drink.find("img")
    image_url = image_tag['src']
    title = image_tag['alt']
    csv_writer.writerow((title, image_url))

csv_open.close()

img로 find한 후, src는 image_url 변수에 담고, alt는 타이틀에 담았다.
그럼 csv파일로 품목명 및 이미지url이 표로 정리된 걸 확인할 수 있다!

느낀 점

초반에 유투브에서 크롤링 영상보고 따라하는데, 계속 오류가 나서 몇시간은 날린 것 같다 ㅠㅠ 라이브러리는 싹다 설치했는데 계속 라이브러리가 없다고 오류가 났다..
원인은,, 파이썬 버전과 가상환경으로 생성한 파이썬 버전이 달라서 충돌이 있었던 것 같다 😂
싹 다 지우고, 가상환경 설정 시 파이썬 버전 지정해서 다시 시작했다!