TIL

25tutmmu·2022년 1월 21일
0

오늘의 목표: 외부 API가져오기
다른 사이트 정보 가져오기
스크랩핑: 한번만 가져오는 것 (cheerio) 데이터 긁어오기

크롤링: 정기적으로 꾸준히 가져오는 것 (Puppeteer)
사이트/robots.txt를 붙이면 크롤링해도되는 것을 확인할 수있다.

aPI로 요청 json이 아닌 html을 가져올 수 있음
$ curl https://www.naver.com == axios.get(" https://www.naver.com") 변수에 저장

og(opengraph): 미리보기 - 페이스북에서 시작했지만 다들 사용중 head- meta tag -property -content
html을 result 변수에 담고 meta tag title image contents og를 뽑아 저장하고 데이터베이스에 넣는다
상세 보드 fetch보드에서 조회하기 해서 제목내용미리보기를 데이터베이스에서 뽑아온다

쉽게 og를 찾는 법

치어리오는 변수 $인경우가 많음
?. 옵셔널체이닝

회원가입 내가좋아하는 사이트

크롤러랑 몽고디비 연결하기

0개의 댓글