Crawling

크롤링(Crawling) : 웹페이지의 구조를 분석하여 원하는 정보를 가져오는 것크롤러(crawler) : 크롤링하는 소프트웨어그렇다면 크롤링의 필요성은 무엇일까?🤔예를들어, 휴대폰 케이스를 구매하려는 상황이다. 인터넷으로 사고싶은 케이스의 가격을 비교하기 위해 "이

Python을 사용하여 크롤링을 할 때 requests, beautifulsoup, selenium 등 설치해야할 라이브러리들이 꽤 있다.requests 설치 : pip install requestsbeautifulsoup 설치 : pip install beauti

01. 설계 계획 ⚒️ 사용자가 뉴스 키워드를 직접 입력하여 원하는 정보를 추출할 수 있도록 `pyautogui` 를 이용하여 간단한 팝업창을 띄워준다. 또한 뉴스를 단일페이지만 가져오는 것이 아닌, 여러 페이지를 크롤링하기 위하여 사용자에게 몇 페이지까지 크롤링할 것

🔎 1. selenium 사용 이유 / 필요성 beautifulsoup 라이브러리만으로도 많은 사이트의 정보를 가져올 수 있지만, 자바스크립트로 동적으로 생성된 정보는 가져올 수 없는 한계가 있다. 01. 그리하여 사용하는 selenium 의 사용 이유 자바스크립트

여는 말 크롤링에 대해 공부하던 중 내가 크롤링한 것을 엑셀에 저장할 수 있는 라이브러리가 있다는 것을 알게 되었다. 그래서 간단한 주식 현재가를 엑셀에 불러오는 것을 해보았다. 01. openpyxl Python에서 엑셀을 쉽게 다룰 수 있도록 도와주는 라이브러리

📢 여는 말 크롤링에 대해 조금 익숙해지자마자 항상 궁금했던 자동로그인을 바로 실습해보기로 했다. 최대한 아는 것을 활용하면서 만들어볼 예정이었는데 생각보다 헤맨 부분과 새롭게 알게된 점이 있었기에 정리를 해보려고 한다.로그인 자동화가 실행되어야 하기 때문에 자동화

📢 여는 말 자동화로 네이버 자동 로그인을 구현해보고, 네이버 쇼핑을 크롤링해볼까? 했다. 그렇게 네이버 쇼핑 페이지를 분석하던 중 네이버 쇼핑은 단일 페이지에서 스크롤을 내리면 상품이 계속해서 보이는 형태를 하고 있는 것을 알 수 있었다. "스크롤도 자동화로 해