# robots.txt

총 3개의 포스트
post-thumbnail

검색 엔진 최적화(SEO) 개념적 이해

왜 서버 사이드 렌더링이 클라이언트 사이드 렌더링보다 SEO가 좋을까요? 검색엔진의 동작과정을 이해하면 왜 그런지 알 수 있습니다!

Dynamic RenderingSSRrobots.txtseositemapsitemap.xml검색 엔진 최적화구글봇크롤링
2022년 1월 23일
·
4개의 댓글
post-thumbnail

🚜 웹 크롤링과 아키텍쳐

👩🏻‍💻 웹 크롤러는 무엇이고 어떻게 만들지?

BFSInformation RetrievalLambdaCrawlNaverBotParallel CrawlingWeb Content ExtractionWeb Crawlingrobots.txtseo검색 엔진스크래핑웹 크롤링크롤러
2021년 5월 21일
·
58개의 댓글
post-thumbnail

Scrapy - fake useragent 설정하기

scrapy-fake-useragent💎 Scrapy에서 간단하게 fake-useragent 방법을 정리하겠다.구글에서 scrapy fake useragent 검색을 하면 잘 나온다.아무래도 크롤링을 하다 보면 User Agent 정보를 headers에 추가해서 전달

fake-useragentpythonrobotsrobots.txtscrapyuseragent크롤링
2021년 1월 27일
·
0개의 댓글