# puppeteer
puppeteer를 이용한 웹 크롤링 (1)
1주차 교육 예제대한약사회에서 운영하는 휴일지킴이약국이라는 사이트를 통해 약국 정보 추출하기이다.나중에 추가 설명 작성하기🎉 실행결과 데이터가 제대로 추출되어 JSON 파일로 저장이 되었다!
Property 'children' does not exist on type 'Node'.ts(2339)
puppeteer로 동적인 페이지의 컨텐츠를 가져와서 cheerio로 문자를 추출하려고 했다.typescript에서 rows\[0].children\[0]의 type은 Node인데 여기엔 children 속성이 없다고 에러를 발생시켰다.테스트 코드로 디버깅해보면 결과가
[남도학숙 식단 어플] 2. Node.js를 로그인이 필요한 페이지 크롤링 하기
🙏 크롤링이란? 나는 현재 남도 학숙(지역 학사)에 살고 있다. 그렇게 아침과 저녁을 보통 학숙에서 나오는 밥을 먹는데, 매번 식사 메뉴를 확인하기 위해서는 아래와 같은 과정을 거쳐야 했다. 핸드폰 크롬에 남도학숙 검색. 남도학숙 사이트에서 남도학숙 학사관리 시스템
시각적 회귀 테스트로 서비스 안정성 끌어올리기
이 글은 2022년 1월 우아한테크세미나에서 발표 주제로 다루었던 시각적 회귀 테스트를 구현하는 방법을 좀 더 자세히 설명한 글입니다. 우아한형제들 기술블로그에 있는 것과 같은 내용입니다.
Puppeteer vs Selenium: Core Differences
Puppeteer vs Selenium: Core Differences
Puppeteer? Headless Browser?
puppeteer 가 뭘까...headless browser 가 뭘까.... ㅠㅅㅠ크롬없이 크롬을 실행해볼까?위키보기화면이 없다. 창이 없다 브라우저.말 그대로 GUI환경이 아닌, CLI에서 동작하는 브라우저다.보통 browser를 이용할때, 화면(창)이 뜨고 그 위에
Node.js 와 Puppeteer로 Instagram 크롤링
인스타그램 유저 이름을 받아서 해당 유저의 계정 정보들을 크롤링한 코드 ✨프로필 : 계정이름, 이름, 프로필 사진, 비공개 계정 여부, id, bio, 게시글 수, 팔로워 수, 팔로잉 수, 웹 사이트게시글 : 게시글코드, 게시글 이미지, 좋아요수, 댓글 수 , 태그한
[Node.js] Puppeteer을 통한 42 intra 크롤링
유명한 크롤러 라이브러리로 Selenium이 있지만Node.js로 웹 개발을 진행중이여서 노드 라이브러리를 찾게 되었다.2017년 구글에서 만들어 낸 노드를 위한 웹 스크래핑 서비스 이며예시로 크롤러가 사람처럼 input에 값을 넣고 로그인 버튼을 눌러준 후 페이지를
[Express] Puppeteer, React, Express를 활용해 크롤러 만들기 및 Heroku에 배포하기
이번 포스팅에서는 Puppeteer를 활용해 구글의 검색결과를 크롤링 하는 웹페이지를 만들어 보겠다. 클라이언트는 React, 서버는 Express를 사용할것이다. 로컬에서 작업이 끝나면 Heroku에 배포까지 해보자.Puppeteer는 Google Chrome 개발팀