배너 이미지 출처: https://derivatex.agency/seo/llms-txt-seo-ai-search
요즘 AI 크롤러를 제어할 수 있다고 하는 llms.txt
가 화제가 되면서,
"우리 콘텐츠도 AI 학습에 쓰이고 있을까?" 라는 고민을 해보았다.
정말로 llms.txt
가 도움이 될까?
궁금증을 갖고 직접 도입하며 실험해보았다 💡
그 전에, 나처럼 백지상태였던 개발자들을 위해
아주 아주 간단히 llms.txt
에 대한 간략한 정보를 짚고 넘어가려고 한다:
llms.txt
는 웹사이트 루트 디렉토리에 두는 Markdown 형식의 파일robots.txt
가 검색 엔진(SEO)용이라면, llms.txt
는 AI 모델용# 프로젝트 또는 사이트 이름
> 이 사이트에 대한 간단한 요약 설명입니다.
## 문서
- [사용자 가이드](https://example.com/guide.md): 사이트 사용 방법에 대한 자세한 설명
- [API 문서](https://example.com/api.md): API 엔드포인트 및 사용법
## 예제
- [샘플 코드](https://example.com/sample-code.md): 주요 기능을 보여주는 코드 예제
## 선택 사항
- [추가 자료](https://example.com/additional.md): 참고할 수 있는 추가적인 자료
llms.txt
사용 사이트 목록: directory.llmstxt.cloudllms.txt
내용이나 llms.txt
의 URL을 붙여주면 문맥 이해에는 활용 가능. llms.txt
를 지원하는 게 좋다:/blog
, /partners
, etc.)llms.txt
파일 추가하기robots.txt
파일에 llms.txt
의 위치를 명시하는 것도 좋은 방법! robots.txt는 이렇게:
User-agent: * Disallow: /private/ # LLMs 규칙은 아래 참고 Sitemap: https://yourdomain.com/llms.txt
llms.txt
를 빌드 시 자동 생성하거나 배포 경로에 포함하는 로직 구현 가능llms.txt
자동 생성/업데이트 스크립트 작성 추천/llms.txt
노출올바른 위치에 설정이 되었다면 {도메인}/llms.txt
에 접근이 되는 지 브라우저에서 확인!
{도메인명}/llms.txt
경로로 Production에 파일을 추가해서 배포한 다음, AI를 학습시켰지만, 새로운 대화를 요청해 해당 서비스에 대해 물었을 때는 검색된 결과에 더 유사한 내용을 안내해주었다.