# Crawling

319개의 포스트
post-thumbnail

오프라인 코드캠프 9일차 TIL

👨🏻‍💻 오늘의 알고리즘 공부 변수.toString() : 변수가 아닌 숫자열 등은 toString()은 문자열로 변환이 안됨 : 오로지 변수에만 해당되는 매서드 reverse() : 문자열 순서 반전 기능 👨🏻‍💻 오늘의 강의 내용 mongoose(OD

3일 전
·
0개의 댓글
·

웹 크롤링(Crawling)과 웹 스크래핑(Scraping)

2주차 시간에 배우는 웹 크롤링(Crawling)과 웹 스크래핑(Scraping)을 예습하고 싶어서 정리 해보겠습니다.고객들이 원하는 정보만을 골라 보여주는 기술Web상의 정보들을 탐색하고 수집하는 작업을 의미합니다.규칙에 따라 자동으로 웹 문서를 탐색하는 컴퓨터 프로

5일 전
·
0개의 댓글
·

AttributeError: 'NoneType' object has no attribute 'get_text'

해당 에러는 크롤링으로 추출한 다음 데이터중 하나가 xml 값이 없어서, 데이터를 추출하지 못한 것이예요None 에러는 크롤링에서 다분히 자주 일어나는 에러이고, 이 때에는 자신이 크롤링하기 위해 선택한 부분이 잘못되었음을 확인하시면 좋을 것 같구요.AttributeE

7일 전
·
0개의 댓글
·
post-thumbnail

셀레늄

Selenium 셀레늄은 웹 어플리케이션 자동화, 테스트를 수행할 수 있는 프레임워크이다. Python 외 여러 언어 환경에서도 제공하고 있다. BeautifulSoup4, requests 와 달리 동적으로 웹 크롤링을 수행할 수 있다. 브라우저 자동화를 위해 웹 드

2023년 3월 15일
·
0개의 댓글
·

Rendering&Scraping&Crawling

서버로부터 HTML, CSS, JavaScript 등 작성한 파일을 받아 브라우저에 뿌려주는 과정스크래핑을 한국어로 번역하면 ‘긁다’라는 뜻이 되는데, 이 의미처럼 ‘특정 사이트를 스크래핑을 한다’ 라고 하면 특정 사이트의 한 페이지를 쭉 긁어와 1번 가져오는 것을 의

2023년 3월 14일
·
0개의 댓글
·

Python: XPATH 요소 찾기

XPATH => 웹사이트의 구조와 동적으로 변경되는 요소들에 따라 XPath는 계속 바꿜 수 있음.XPath를 찾는 가장 쉬운 방법 => 웹사이트에서 F12 키를 눌러 개발자 도구가 열고, 이를 통해 해당 웹사이트의 HTML 코드를 확인함. 개발자 도구에서 원하는 요소

2023년 3월 6일
·
0개의 댓글
·
post-thumbnail

[DE프젝]두 번째 회고

🥹 엘라스틱에서 MySQL로 1월 한 달을 es 공부와 구축에 쏟았다. 그러던 중 2월 초, 백엔드분으로부터 es로만 구축하면 서버가 뻗을 것이다 라는 얘기를 들었다. 그래서 처음 DB였던 MySQL로 회귀하였다..... 처음엔 간단하게 MySQL이 RDB니까 더

2023년 3월 2일
·
0개의 댓글
·

Scraping & Crawling

[ 2주차 ]

2023년 3월 2일
·
0개의 댓글
·

FASTAPI: 사용법

fastapi는 uvicorn을 이용하여 실행명령어 - > uvicorn main:app결과 확인http://127.0.0.1:8000/items/2?q=12345http://127.0.0.1:8000/docs

2023년 3월 1일
·
0개의 댓글
·

Crawling - puppeteer - 3(MySQL)

지난이야기 1. 할 일 > 저번 과정을 통해 가게들의 메뉴정보를 가져오는데 성공했다. 이제 DB를 연결해서 DB에 그 메뉴 정보들을 저장하고자 한다. 2. MySQL 연결 > 현재 노트북에 mysql이 깔려 있는 상황이므로 npm에서 mysql연결 라이브러리를 설치

2023년 2월 28일
·
0개의 댓글
·
post-thumbnail

네이버 뉴스 크롤링하기

2월25일 IT/과학 > IT일반 탭의 기사를 크롤링하려고 한다. 먼저 해당 페이지에 접속 후 url을 확인한다. > https://news.naver.com/main/list.naver?mode=LS2D&sid2=230&sid1=105&mid=shm&date=2023

2023년 2월 25일
·
0개의 댓글
·
post-thumbnail

Python Web Crawling [Selenium]

Python 셀레니움을 이용하여 웹 크롤링 하기.

2023년 2월 24일
·
0개의 댓글
·
post-thumbnail

Python Web Crawling [BeautifulSoup]

Python BeautifulSoup

2023년 2월 24일
·
0개의 댓글
·
post-thumbnail

Python Web Crawling [requests]

파이썬을 이용한 웹 크롤링 , requests 편!

2023년 2월 24일
·
0개의 댓글
·
post-thumbnail

MiniProject 2 - 응급실 네비게이션

MiniProject 개요 전국 응급실 정보 크롤링 크롤링한 정보 folium을 활용해 지도 위에 마킹 (가능하다면) naver map api 활용해서 내 위치와 최단 거리 병원 정보 및 최단 거리 표시 응급실 정보 크롤링 국립중앙의료원 의 전국 응급실 정보를 크롤링

2023년 2월 22일
·
0개의 댓글
·
post-thumbnail

Play Data 2주차 화요일

MySQL 접속 (M1) brew services start mysql sudo mysql -u root MySQL 계정 생성 > CREATE USER 'username'@'ipaddress' IDENTIFIED BY 'password'; user_name: 유저 이름 ip_address: 접속하는 ip 주소 password: 비밀번호 계정 생성...

2023년 2월 21일
·
0개의 댓글
·

MiniProject 1 - LOL AgingCurve

롤 프로선수들의 에이징 커브 지표 분석15분 골드차이, 승률, KDA를 활용한 분석inven, gol.gg, lol.fandom.com 등의 프로들 전적 사이트 활용inven 데이터의 경우 Faker 선수를 제외하고 다른 선수들의 생년월일 정보가 없어 lol.fando

2023년 2월 21일
·
0개의 댓글
·
post-thumbnail

Crawling - puppeteer - 2

지난이야기 1. 현재 상황 > 현재 예외처리를 추가한 상황이다. 하지만 문제가 발생하였디. 2. 문제상황 puppeteer 이미지 실제 검색 이미지 > 위 사진들을 보면 현재 메뉴 탭의 위치가 다르다. 그래서 인지 분명 puppeteer 실행 화면을 보면 메뉴버튼

2023년 2월 20일
·
0개의 댓글
·
post-thumbnail

BeatifulSoup 설치 및 테스트

https://pypi.org/project/beautifulsoup4/

2023년 2월 19일
·
0개의 댓글
·
post-thumbnail

[Play Data] 1주차

Mac virutalenv 설정 작업 폴더 생성 python -m virtualenv venv source venv/bin/activate 해제 = deactivate github 환경 설정 맞추기 requirements.txt 다운로드 pip3 install -r requirements.txt 내가 만든 패키지 저장 [pip freeze or...

2023년 2월 19일
·
0개의 댓글
·