# puppeteer
20210126 - 크롤링, 인스타그램
https://o-henry.github.io/2019/10/29/Insta/INSTAGRAM CRAWLINGid가 바뀐 유저 찾기, 벤 피하기waitForSelector은 eval 함수가 아님$eval과 evaluate 둘 다 호이스팅 범위가 내부에만 허용h
20210125 - 크롤링, puppeteer
AI 모델 학습에 필요한 인스타그램 유저 데이터가 필요했다.마침 스니커즈 프로젝트에서 사용한 puppeteer가 있어 인스타그램에 맞춰 수정 작업했다.https://flaviocopes.com/node-write-csv/How to write a CSV fil
20210109 - 포트폴리오 프로젝트가 뻗었다.
EC2 인스턴스가 뻗었다... 고치려고 건드리다가 종료를 눌러버렸다.아니 이게 삭제인 걸 좀 알려주면 안 되나?하여튼 인스턴스를 새로 만들었다.
[Docker] docker로 puppeteer 크롤링 프로젝트 배포시 오류 해결하기
주말에 끝내고 말겠다는 집념으로 무사 배포에 성공했다. 결론적으로 http라서 배포에 헤맸던 것은 아니었다. 도커파일과 크롤링해오는 service.ts파일을 수정해주었더니 http에서도 크롤링 데이터를 무사히 가져올 수 있었다!
[새싹] 발표를 끝마치고 쓰는 2차 팀프로젝트 회고록
2차 팀프로젝트 : 취얼업(Cheerly-Up) 개발 기간: 2주(2023.2.11~2023.2.25) 취얼업: 개발자 취업 준비생을 위한 공부 루틴 만들기 및 자기계발 웹사이트
Mini-Project
프로젝트 구성 BACKEND docker-compose docker Express MongoDB FRONTEND API 연동 WEB-CRAWLER puppeteer db연동
크롤링 puppeteer
주기적으로 스크래핑을 여러번 하는 것을 말함크롤링하고자 하는 사이트 url/robots.txt 확인Allow에 해당하는 항목은 크롤링이 허용된 항목Disallow에 할당된 항목은 여러 이슈가 발생할수 있음Allow 해당 항목이라도 서버 과부하을 유발하거나 상업적 판매
PUPPETEER 클릭 후 새 페이지 탭 element 사용하기
📌Puppeteer를 이용하여 크롤링 중 클릭 후 새 페이지가 탭으로 뜨는 경우 ELEMENT가 사용이 안됐다. --- 특정 PAGE 링크로 이동한다. --- --- 이동된 page 내에서 css selector로 값을 click하여 새 페이지를 띄운다. ✅ 새
[남도학숙 식단 어플] 3. 크롤링 방식 변경(puppeteer 사용 X -> api 요청 방식)
1. 문제상황 지난글에서 나는 cheerio와 puppeteer를 이용해서 식단표를 크롤링하는데 성공했다 그런데, 마음에 들지 않는 부분이 있었다. 그것은 바로 <span
puppeteer란?
이번에 프로젝트를 진행하면서 headless 브라우저 띄우며 사용했던 puppeteer에 대해 정리해 보고자 한다. 공식 홈페이지와 실제 사용하면서 정리해두고자 했던 내용 위주로 작성할 예정이며, 틀린 내용이 있을 수도 있다! 🤣 Puppeteer란? DevTool
puppeteer를 이용한 웹 크롤링 (1)
1주차 교육 예제대한약사회에서 운영하는 휴일지킴이약국이라는 사이트를 통해 약국 정보 추출하기이다.나중에 추가 설명 작성하기🎉 실행결과 데이터가 제대로 추출되어 JSON 파일로 저장이 되었다!
