크롬개발자도구 이용하기 - 3월 1일

웹데이터 2

6 실습 - 크롬 개발자 도구 이용하기 - 1

1. import
   (1) from urllib.request import urlopen
   (2) from bs4 import BeautifulSoup

2. url
   url = "https://finance.naver.com/marketindex/"
   page = urlopen(url)
   soup = BeautifulSoup(page, "html.parser")
   print(soup.prettify())

8 실습 - 크롬 개발자 도구 이용하기 - 3

1. pip install request

2. find, findAll = select, select_one

3. 필요한 리스트만 찾기
   (1) exchangeList = soup.select("#exchangeList > li")
   (2) 아이디는 #exchangeList
   (3) 클래스면 .exchangeList
   (4) > 는 바로 밑에라는 의미

웹데이터 3~4

11 실습 - 위키백과 문서 정보 가져오기

1. url decode 검색
   (1)
   html = "https://ko.wikipedia.org/wiki/%EC%97%AC%EB%AA%85%EC%9D%98_%EB%88%88%EB%8F%99%EC%9E%90"
   (2) 이럴 때 url decode를 검색해서 해결하라
   (3) 글자를 URL로 인코딩
   req = Request(html.format(search_words=urllib.parse.quote("여명의 눈동자")))

13 실습 - list 데이터형

1. Ctrl+Enter
   (1) 셀이 내려가지 않고 같은 자리에서 실행한다.

2. isinstance( )
   (1) 자료형 True/False

18 실습 - 시카고 맛집 데이터 하위 페이지 분석

1. 특정 페이지 읽기
   (1) 예시
   ua = UserAgent()
   req = Request(df["URL"][0], headers={"user-agent":ua.ie})
   html = urlopen(req).read()
   soup_tmp = BeautifulSoup(html, "html.parser")
   soup_tmp

2. 가격만 추출하기
   (1) '\n$10. 2109 W. Chicago Ave'
   (2) re.search("\S\d+.(\d+)?", price_tmp).group()