# selenium

agzg

셀레니움이란 파이썬의 패키지로 웹 상에서 정적인 페이지를 탐색하는데 사용하던 beautifulsoup같은 패키지가 하지 못하는 동적인 크롤링을 지원한다. 동적인 크롤링이란 url상에는 아무런 변화없이 동작하는 웹 페이지에 대한 크롤링을 의미한다.

tkjung

Xpath, CSS Selector 테스트해보기

hyoeun98

Dynamic Web Page > 동일한 레이아웃과 디자인을 유지하면서 각각 다른 내용을 display하는 Web Page (https://www.packetlabs.net/posts/dynamic-pages) 날씨, 주가, 시간 등의 정보 (실시간으로 변함) Instagram, watcha, Facebook 등 (사용자가 스크롤을 내리면 새로운 정보 u...

kyunghwan1207

맥주 추천기능을 위해 필요한 맥주데이터를 모색하던 중RateBeer라는 사이트를 찾았습니다.이 사이트는 BeerAdvocate와 함께 가장 큰 맥주 리뷰 사이트로 유명하기에 해당 사이트에서 크롤링하도록 하겠습니다.Colab에서 진행할 것이기 때문에 아래와 같이 필요한

isuchan0212

Selenium에 대해 알아보자.

glad415

자바스크립트가 동적으로 만든 데이터를 크롤링하기 위해requests도 많이 사용하지만 동적요소에는 어렵기 때문에 대신 Selenium을 사용반복적으로 사용하고 있는 웹상의 업무 자동화 가능 및 메일 보내기 좋아요 누르기 등 각종 업무 자동화 가능 브라우저를 직접 켜서

jongsung

The Cucumber framework is the BDD frameworks. Cucumber is a testing framework that supports Behavior Driven Development(BDD). It is written by English

dbstjd0924

식당 별점,리뷰 들고오기 이전 포스팅에서 메뉴를 가져왔으니 이번에는 별점이랑 리뷰를 가져와보기로 했다. 애초에 어플리케이션에 리뷰와 별점순으로 식당을 보여줘야했기 때문에 어플 사용자들이 등록하는 리뷰 이외에도 이미 존재하는 리뷰를 가져와야했다. 이 빨간색 박스 안에

dbstjd0924

왜..? 이번에 작은 프로젝트를 진행하게 되었는데, 간단하게 말하자면 우리 학교 주변에 있는 맛집을 보여주고 등록할 수 있는 프로젝트다. 이 프로젝트를 할려면 일단 식당에 대한 정보를 데이터베이스에 저장해야됐다. 그럼 일단 학교 주위에 있는 식당을 찾아봐야 했는데, 처

bbhaunt

기존 바뀐 후 from selenium.webdriver.common.by import By By.ID 태그 id 값으로 추출 By.NAME

hssarah

원하는 웹 요소 우클릭 -> 검사해당 요소는 다음과 같이 특정한 id나 name이 없어 보인다. 이 경우 XPath를 사용한다.XPath란 XML Path Language로, XML문서에서 특정 요소의 경로이다.원하는 요소 우클릭 -> Copy -> Copy XPath

de_youn

안녕하세요.오랜만에 글을 쓰게 되네요.요새 바쁜 일들이 너무 겹쳐서 정신이 없었습니당...😂😂이번 글부터 본격적으로 프로젝트를 진행해보려고 합니다.이렇게 글을 쓰면서 프로젝트를 진행한 적은 처음이라,글솜씨가 서툴러도 양해 부탁드리겠습니다!🙏👉 해외주식 데이터 수

delphox60

SW Maestro 프로젝트의 일환으로 여

bymate

유튜브 크롤링 영상을 참고하면서 웹페이지를 크롤링하기위해 파이썬 라이브러리중 Selenium이라는 라이브러리와 Chrome driver라는 프로그램을 같이 사용해서 크롬 환경에서 웹에 접근해 데이터를 가져오는 연습을 해봤다.jupyter Notebook에서는 코드를 파

hjk125ha

국민 청원 사이트에서 원하는 카테고리의 청원 정보를 읽어온다.읽어오는 정보는 카테고리, 제목, 동의수, 동의달성률, 동의기간, 남은기간, 청원의 취지, 청원의 내용이다.국민 청원 홈페이지의 경우 아마존처럼 스크롤이 필요한 구간도 없고, 이미지를 저장할 것도 없어서 아주

hjk125ha

네이버에서 특정 키워드로 검색 후 여러 건의 블로그의 이미지와 텍스트 정보 수집 네이버 블로그에서 작성일자를 주고 필터링하는 부분이 어려운 부분이다. 과정 키워드로 검색 VIEW 클릭 블로그 클릭 옵션 클릭 최신순으로 정렬 클릭 시작날자 클릭 년, 월, 일 클릭 종료

yubbi4

1) 네이버 영화 평점 사이트 (https://movie.naver.com/) 에서 특정 영화 검색한 후, 해당 영화의 정보를 수집하는 크롤러 만들기2) 검색 키워드 : 범죄도시23) 별점, 리뷰내용, 작성자, 작성일자, 공감 횟수, 비공감 횟수 수집하여 cs

hjk125ha

동작 과정1\. 웹사이트 접속2\. "제주도여행" 검색3\. 검색 결과들에서 제목, 지자체명, 해시태그를 추출4\. 게시물을 클릭하여 들어가 본문 내용 추출 후 뒤로가기5\. 이를 반복하면서 필요 시 페이지 전환이 크롤러를 만들 때 첫 번째 페이지의 정보는 잘 수집했으

yubbi4

목표 : 검색된 결과의 요약 정보와 상세 정보 수집하여 다양한 형식의 파일로 저장하기핵심 : 특정 제목이나 링크를 눌러서 나오는 새로운 창에서 정보를 추출하고 이전 페이지로 다시 돌아가는 것riss.kr 사이트에 자동 접속 후 전염병 키워드로 자동 검색한 후 학위논문

yubbi4

파이썬으로 Selenium에게 특정 웹 페이지 크롤링 명령Web Driver를 실행하여 웹 페이지에 접속접속한 웹 페이지를 HTML 소스코드 형태로 현재 크롤링을 실행하는 컴퓨터로 가져옴수집된 HTML 전체 코드에서 Beautiful Soup를 사용하여 원하는 부분만