puppeteer를 활용하여 크롤링 해보기 (중단)

·2022년 6월 20일
0

크롤링

목록 보기
6/6

사실 계속 작업을 이어가보려고 했는데, 기술적 문제가 아닌 것 같아서 중단을 하려고 한다.

개수를 확인하고, 디비에 넣는 것은 정상적으로 작동하지만
정확하게 100개가 되었을 때 프로토콜 에러가 발생하면서 퍼펫티어가 고장나는 현상이 반복되고 있어서다(...)

크롤링하는 서버에 계속 부하를 주는 것 같고 몇번을 반복해도 그러길래
이건 뭔가 문제가 있는 것 같다고 생각해서 진행하지 않기로 했다.

그래도 얻은 것은 충분히 많아서 만족스럽다고 생각한다.

사실 크롤링은 부트캠프 9일차인가에 1시간 듣고 말았는데(...) 그것을 직접 구현을 해냈다는 것?
거기서 데이터까지 빼서 디비에 담아봤다는 것에 의의를 두려고 한다.

한번 해봤고 기록도 남겨놨으니 더 잘 할 수 있겠지!

profile
물류 서비스 Backend Software Developer

0개의 댓글