# selenium
ChatGPT 백준 매크로 만들기
ChatGPT API 와 Python 의 Selenium 을 이용해서 ChatGPT 를 백준 풀이 노예로 만들어보자. ChatGPT API 안 써보면 뒤쳐지는 느낌이라 써볼만한 걸 생각해봤는데 내 뇌는 이게 한계였다. 목표는 백준 한 페이지, 총 100문제 Chat
네이버 이미지 크롤링(수집)
그 때 당시에 기억으로는 중간중간에 없는 div번호가 있어서 예외처리를하고 없는 번호가 뭔지 출력하게끔 진행했다.위 코드를 간단히 요약하자면 원하는 검색어의 이미지 페이지에서 이미지 열 개마다 스크롤을 내리면서 이미지를 수집한다.이미지저장은 실행한 위치의 상위폴더에서
Selenium으로 카카오맵 크롤링하기
Selenium을 이용하여 카카오 맵을 크롤링해보자!Selenium 세팅은 다음 글을 참고한다.Selenium 사용하여 웹 페이지 크롤링하기(세팅)크롤링의 순서는 다음과 같다.크롬 드라이버를 세팅한다.브라우저에서 url을 로딩한다.findElement(s) 로 원하는
Selenium으로 네이버 지도 크롤링하기
Selenium을 이용하여 네이버 지도를 크롤링해보자!Selenium 세팅은 다음 글을 참고한다. → Selenium 사용하여 웹 페이지 크롤링하기(세팅)크롤링의 순서는 다음과 같다.크롬 드라이버를 세팅한다.브라우저에서 url을 로딩한다.findElement(s) 로
Selenium 사용하여 웹 페이지 크롤링하기(세팅)
전국에 있는 주차장 정보를 DB에 저장하여 주차장 검색 서비스를 구현하고자 한다.공공 데이터 포털에서 제공하는 주차장 정보 제공 API 를 사용하려고 했으나, 주차장 이름, 주소 등이 공백인 데이터가 많았다.전국 주차장 정보 표준 데이터 엑셀 데이터는 14,000여개의
[JAVA] 셀레니움(Selenium) 환경설정
셀레니움 버전을 확인하여 필요한 버전을 다운로드 합니다.저는 2023-03-07일자에 최신버전인 4.8.1 버전을 사용하였습니다.저는 Gradle을 사용하므로 해당 코드를 복사합니다.그리고 build.gradle 에 복사한 코드를 추가합니다.셀레니움은 여러 브라우저를
Python: XPATH 요소 찾기
XPATH => 웹사이트의 구조와 동적으로 변경되는 요소들에 따라 XPath는 계속 바꿜 수 있음.XPath를 찾는 가장 쉬운 방법 => 웹사이트에서 F12 키를 눌러 개발자 도구가 열고, 이를 통해 해당 웹사이트의 HTML 코드를 확인함. 개발자 도구에서 원하는 요소
selenium과 beautifulsoup 함께 사용하기 - 3월 3일
유가분석 3 8 실습 - selenium 기초 - 4 검색어 입력 (1) XPATH (1) //*[@id="main_pack"]/section[2]/div/div[2]/panel-list/div/ul/li[1]/div/div/a (2) '//' : 최상위('query'를 찾기 위한 루트 중 최상위) (3) '*' : 자손 태그 (4) '/' : 자식 태...
셀레니움 selenium 기초 - 3월 2일
웹데이터 5~6 20 실습 - 시카고 맛집 데이터 지도 시각화 folium.Marker (1) 예시 folium.Marker( location = [row["lat"], row["lng"]], popup = row["Cafe"], tooltip = row["Menu"], icon = folium.Icon(icon = "coffee", prefix = "...
[DE프젝]두 번째 회고
🥹 엘라스틱에서 MySQL로 1월 한 달을 es 공부와 구축에 쏟았다. 그러던 중 2월 초, 백엔드분으로부터 es로만 구축하면 서버가 뻗을 것이다 라는 얘기를 들었다. 그래서 처음 DB였던 MySQL로 회귀하였다..... 처음엔 간단하게 MySQL이 RDB니까 더
[Play Data] 1주차
Mac virutalenv 설정 작업 폴더 생성 python -m virtualenv venv source venv/bin/activate 해제 = deactivate github 환경 설정 맞추기 requirements.txt 다운로드 pip3 install -r requirements.txt 내가 만든 패키지 저장 [pip freeze or...
웹스크래핑/크롤링 by 파이썬 (2)
지난 게시글에서 웹스크래핑/크롤링을 위한 웹페이지의 기초적인 이해, requests와 bs4 라이브러리의 간단한 사용법에 대해 정리했다. 이번 게시글에서는 정적인 상태에서의 스크래핑을 넘어서, 웹페이지에서의 동적인 동작을 수행할 수 있게 하는 것을 돕는 selenium
크롤링이란
쉽게 말하면 웹 페이지를 가져와서 그 안에서 데이터를 추출하는 기술이다.자동 입력, 파일 다운로드 기능도 가능하고, driver을 이용하면 동적인 크롤링을 할 수 있게 된다. 여기서 동적이라는 의미는, 코드에 의해 사이트를 옮겨다니거나 스크롤이나 클릭을 하여 웹 코드에
[Python]카카오맵 이름 주소 크롤링 및 지오코딩으로 위도, 경도 구하기
[Python]카카오맵 이름 주소 크롤링 및 지오코딩으로 위도, 경도 구하기 환경 : Intellij 언어 : Python 패키지 : Pandas, bs4, Selenium, Webdriver(ChromeDriver), Geopy BeautifulSoup, Selenium을 이용하여 카카오맵 크롤링 여러 블로그를 참고하여 직접 완성한 코드이지...
피파온라인4 기록 기반으로 23TOTY 명단 가상 선정하기(1)
얼마 전에 23TOTY(2023 Team Of The Year) best 11이 발표되었다
