[SEO] - Robots.txt & Sitemap.xml

Robots.txt

• REP: Robots Exclusion Protocol
• 검색엔진 서비스(구글, 네이버 ...etc) 에서 크롤링을 하기 전 robots.txt 파일을 파싱하여 검색엔진에게 수집할 페이지와 차단할 페이지 정의
• sitemap.xml의 위치

How to Use

• 사용하고자 하는 검색엔진 Search Advisor에서 robots.txt 설정
  - Google: Google Search Console
  - Naver: Naver Search Advisor
  - Daum: Daum 웹마스터
  - ...etc

Sitemap.xml

• 검색엔진에서 인덱싱할 페이지 url 주소에 대한 설정과 인덱싱할 내용을 설정

sitemap.xml: 아래와 같은 조건을 충족해야 함

• utf-8` 인코딩되어야 함
• urlset 태그 안에 설정
• 각 URL의 <url> 항목을 상위 XML 태그로 포함
• 각 <url> 상위 태그에 <loc> 하위 항목을 포함

example:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
	<url>
		<loc>https://noowah-blog.vercel.app/</loc>
		<lastmod>2022-11-27T19:21:06+09:00</lastmod>
		<priority>1.0</priority>
	</url>
</urlset>

Sitemap 대체언어 페이지 표시

example:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
	<url>
		<loc>https://noowah-blog.vercel.app/</loc>
		<lastmod>2022-11-27T19:21:06+09:00</lastmod>
		<priority>1.0</priority>
		<xhtml:link rel="alternate" hreflang="x-default" href="https://noowah-blog.vercel.app/" />
		<xhtml:link rel="alternate" hreflang="ko" href="https://noowah-blog.vercel.app/ko" />
	    <xhtml:link rel="alternate" hreflang="en" href="https://noowah-blog.vercel.app/en" />
	</url>
</urlset>

• 🌟 i18n 대체언어 페이지 설정 시 hrefLang="x-default" : 해당 페이지의 기본 버전 설정을 하는 것을 권장