11번가 베스트셀러 목록 크롤링

Get 방식, 개발자 도구 이용, BeautifulSoup 사용

절차

import pandas as pd
import requests
from bs4 import BeautifulSoup

1. URL 가져오기

url = "https://www.11st.co.kr/browsing/BestSeller.tmall?method=getBestSellerMain"

2. request

response = requests.get(url)

3. BeautifulSoup 객체로 만들기

dom = BeautifulSoup(response.text, "html.parser") #BeautifulSoup 객체가 만들어짐
type(dom) # 출력: bs4.BeautifulSoup

4. CSS Selector을 이용하여 element 선택하기

elements = dom.select("#bestPrdList > div:nth-child(2) > ul > li")

items = []
for element in elements:
    data = {
        "product": element.select_one("div.pname > p").text,
        "price": element.select_one("div.price_info.cfix > span > strong").text,
        "link" : element.select_one("div > a").get("href"),
        "img": element.select_one("div.img_plot > img").get("src"),
    }
    items.append(data)

5. DataFrame으로 만들고 저장하기

best_11st = pd.DataFrame(items)
best_11st.to_csv('./best_11st.csv', index = False)

확인