# robots

6개의 포스트

robots.txt

robots.txt robots.txt는 검색로복에세 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안. robots.txt 파일은 항상 사이트의 루트 디렉토리에 위치해야 하며 로봇 배제 표준을 따르는 일반 텍스트 파일로 작성해야 한다. 예) h

약 9시간 전
·
0개의 댓글
post-thumbnail

알아두면 쓸모있는 FE 환경설정

.eslintrc와 .eslintrc.json의 차이는 무엇일까요? .eslintrc는 json이나 yaml 로 해석될 수 있으며 deprecated 됐다. 따라서 .eslintrc.json을 사용하는 것이 적절하다. https://dev.to/ohbarye/esli

2022년 5월 15일
·
1개의 댓글
post-thumbnail

[IT] Eccentric Japanese billionaire now betting that 'emotional' robots can heal your heart

Nearly two years before Japanese fashion titan Yusaku Maezawa embarked on his recent tourist visit to the International Space Station, he made global

2022년 4월 18일
·
0개의 댓글
post-thumbnail

robots.txt 소개와 사용법

aws에 front 서버를 배포하기 위해 aws s3 에 버킷에 객체를 저장하기 위해, 프로젝트를 build & export 하는 과정을 거쳤다. 이후 export한 파일들 중 public 폴더 내 robots.txt 라는 파일을 발견했다.

2022년 3월 12일
·
0개의 댓글
post-thumbnail

Scrapy - fake useragent 설정하기

scrapy-fake-useragent💎 Scrapy에서 간단하게 fake-useragent 방법을 정리하겠다.구글에서 scrapy fake useragent 검색을 하면 잘 나온다.아무래도 크롤링을 하다 보면 User Agent 정보를 headers에 추가해서 전달

2021년 1월 27일
·
0개의 댓글
post-thumbnail

robot.txt와 meta태그의 robots의 차이

meta태그에 대해서 검색하다 보니robot.txt같이 robots 접근을 제어하는 경우도 있는것을 보았다.그래서 도대체 어떤것이 검색엔진 최적화에 좋은지? 혹은 어떻게 로봇을 제어하는게 우선순위가 되는지가 궁금해졌다크롤러같은 robot들은 주로 검색엔진들의 인덱싱 목

2020년 12월 11일
·
0개의 댓글