👨🏼‍💻210622 TIL

하루

• 늦잠을 자서 2시가 다 되어서 하루를 시작했다.
• 저녁부터 크롤링 강의듣기 시작해서 새벽5시에 다 들었다.

TIL

크롤링 (selenium)

• Beautifulsoup를 사용해서 네이버 이미지 검색을 한 후에 이미지들을 전부 폴더에 자동으로 다운받으려고 했으나 동적으로 생성되는 페이지여서 안됐다. 동적으로 생성돼서 안된다는 사실을 깨닫기 까지 오랜시간이 걸렸다. 다음도 해보고 줌도 해봤지만 안됐고 구글은 보안이 짱짱한지 시도조차 되지가 않았다. 그래서 인터넷에서 아무 쇼핑몰 들어가서 티셔츠를 검색하고 나오는 사진들을 저장하는 것으로 만족을 했다.

• 이러한 문제를 해결할 수 있는 게 selenium이다. selenium은 chromedriver로 크롬을 실제로 실행하고 페이지가 전부 생성되고 요소들을 선택하기 때문에 위의 문제를 해결 할 수 있다.

• 다나와 홈페이지에서 맥북 카테고리를 고르고 모델명 가격 이미지등을 추출하는 작업을 해보았다.