[스파르타코딩클럽] 웹개발 종합반 - 3주차 개발일지

이지영·2022년 8월 25일

개발일지 스파르타내일배움단 스파르타코딩클럽 온라인코딩강의 웹개발종합반 후기

웹개발종합반

목록 보기

3/6

3주차 배운것
파이썬, 크롤링, pymongo이용해 mongoDB제어하기

python

파이썬은 매우 직관적인 언어!

python 기초

변수 & 기본연산
자료형
숫자, 문자형, 리스트형, Dictionary형,
함수
함수의 이름은 자유
조건문
if, else
반복문
파이썬에서 반복문은 리스트의 요소를 하나씩 꺼내쓰는 형태

웹스크래핑(크롤링)

웹상에 존재하는 Contents를 수집하는 작업
크롤링 기본세팅

import requests
from bs4 import BeautifulSoup

# 타겟 URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨
# 이제 코딩을 통해 필요한 부분을 추출하면 된다.
soup = BeautifulSoup(data.text, 'html.parser')

#############################
# (입맛에 맞게 코딩)
#############################

DB

DB는 나중에 잘 찾기위해 정리해두는 것!
DB종류
-- RDBMS(SQL): 정형화되어있어 데이터의 일관성이나 분석에 용이 (ex) MS-SQL, My-SQL 등)
-- No-SQL: 딕셔너리 형태로 데이터를 저장해두는 DB (ex) MongoDB)

pymongo

저장해두고 찾아서 쓰면 유용!

from pymongo import MongoClient
client = MongoClient('mongodb+srv://test:sparta@cluster0.ncyx6sm.mongodb.net/?retryWrites=true&w=majority')
db = client.dbsparta

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

3주차 숙제

지니뮤직의 1~50위 곡을 스크래핑 해보세요.

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701', headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')


ginie = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for music in ginie:
    # body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.number
    # body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.title.ellipsis
    # body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.artist.ellipsis

    rank = music.select_one('td.number').text[0:2].strip()
    title = music.select_one('td.info > a.title.ellipsis').text.strip().strip('19금').strip()
    artist = music.select_one('td.info > a.artist.ellipsis').text
    print(rank, title, artist)