크롤링

봇을 만들어 웹사이트의 정보를 수집하는 것크롤링 데이타를 영리적 목적으로 사용시 문제가 될 수 있다허락을 맡거나 제공된 API를 사용하는 것을 권장c, c++이 속도가 더 빠르지만node.js가 생산성이 좋다웹을 구성하는 언어 javascript를 사용언어간 전환 비용

제로초 github사람인 척 클릭도 하고 로그인도 하는 등 위장하는 크롤러너무 빠르게 페이지에 접근하는 것을 막기 위해 중간중간 잠시 쉬는 것도 설정크로미움 브라우저도 설치용량을 많이 차지한다브라우저에서 서버를 띄워두고 하는 것이기 때문크롬 브라우저의 기반await이

제로초 github매일 스크린샷을 찍을 수 있다개별 이미지도 다운 가능링크 주소를 소스에 넣으면 보이지만 남의 이미지 트래픽을 사용하는 것이기때문에 부담을 줄 수 있다직접 다운 받아 사용이미지 요청을 하면 0과 1로 이루어진 buffer형태로 오고 그것을 fs로 읽는다

.env에 보안이 필요한 정보를 입력해두면 코드가 유출되어도 보안유지 가능.env 파일에 메일주소와 비밀번호 등의 정보 입력사용할 페이지에 dotenv 불러오기아래 형식으로 값 불러와서 사용networkidle0과 networkidle2를 사용해봤는데 사실 차이를 아직

EBS Easy Writing 라디오는 매일 영어 5문장을 다룬다.이를 노션 페이지에 입력해두고 학습한다.블로그들이 이 문장들을 포스팅하고있어 이를 크롤링을 하고자 한다.🚨 노션에 바로 입력하려했으나 아직 성공하지 못했다.수많은 블로그들 중 하루도 빼먹지 않고 Eas