요즘 AI 크롤러를 제어할 수 있다고 하는 llms.txt 가 화제가 되면서,
"우리 콘텐츠도 AI 학습에 쓰이고 있을까?" 라는 고민을 해보았다.
정말로 llms.txt가 도움이 될까?
궁금증을 갖고 직접 도입하며 실험해보았다 💡
그 전에, 나처럼 백지상태였던 개발자들을 위해
아주 아주 간단히 llms.txt에 대한 간략한 정보를 짚고 넘어가려고 한다:
📌 llms.txt란?
llms.txt는 웹사이트 루트 디렉토리에 두는 Markdown 형식의 파일- GPT, Claude, Gemini 같은 LLM(혹은 Large Language Model, AI)이 사이트의 구조나 핵심 콘텐츠를 더 잘 이해하도록 돕는 목적
robots.txt가 검색 엔진(SEO)용이라면,llms.txt는 AI 모델용
🔧 llms.txt 샘플
# 프로젝트 또는 사이트 이름
> 이 사이트에 대한 간단한 요약 설명입니다.
## 문서
- [사용자 가이드](https://example.com/guide.md): 사이트 사용 방법에 대한 자세한 설명
- [API 문서](https://example.com/api.md): API 엔드포인트 및 사용법
## 예제
- [샘플 코드](https://example.com/sample-code.md): 주요 기능을 보여주는 코드 예제
## 선택 사항
- [추가 자료](https://example.com/additional.md): 참고할 수 있는 추가적인 자료- 요약 + 핵심 문서 링크만 제공해도 충분, 전체 sitemap을 다 넣을 필요는 없음
- 핵심은 LLM이 따라가기 쉬운 구조를 만들고 주요 진입점만 안내해주는 것
- 더 알아보고 싶다면? llms.txt에 관한 표준을 제안하는 문서 참고
🤔 공식 표준인가요?
- ❌ 도입을 독려하는 중이지만 아직 표준은 아니다.
- ✅ 그러나 점차 도입되는 중
🏢 그럼 llms.txt는 누가 참고하나요?
- Anthropic (Claude), Stripe, Mintlify, Cursor 등의 기술 기업들이 사용중
llms.txt사용 사이트 목록: directory.llmstxt.cloud
🤖 GPT도 llms.txt를 참고하나요?
- ❌ 직접적으로는 참고하지 않음. 2023년까지의 공개된 웹/문서 기반 학습하는 중
- ✅ 실시간 크롤링이나 자동 분석은 하지 않지만, 사용자가
llms.txt내용이나llms.txt의 URL을 붙여주면 문맥 이해에는 활용 가능.
🧩 활용 시나리오 / 해볼 수 있는 일?
- 우리 서비스나 제품 문서를 LLM 친화적으로 만들고 싶을 때
- 개발자 문서, API 문서, 가이드 페이지 등이 대상
- 특히 AI 기반 검색, 챗봇, RAG 구조에 사용하는 서비스라면 적극 고려해볼 만함
- AI가 우리 콘텐츠를 더 잘 이해하도록 도와줄 수 있는 간단하고 실용적인 방법
- 프론트와 백 모두 아래 관점에서
llms.txt를 지원하는 게 좋다:- 프론트는 문서 구조와 UX 관점
- 백엔드는 자동화와 배포 관점
🧑💻 프론트엔드
- 어떤 문서를 LLM에 노출할지 결정하거나 문서 링크 구조를 설계하는 데 관여
- 주요 문서 경로 선정 (
/blog,/partners, etc.) - 링크 구조와 문서 포맷 구성
- Next.js는 루트가 아닌 public 폴더 하위에
llms.txt파일 추가하기 robots.txt파일에llms.txt의 위치를 명시하는 것도 좋은 방법!robots.txt는 이렇게:
User-agent: * Disallow: /private/ # LLMs 규칙은 아래 참고 Sitemap: https://yourdomain.com/llms.txt
🧑💻 백엔드
llms.txt를 빌드 시 자동 생성하거나 배포 경로에 포함하는 로직 구현 가능- RAG, AI 문서 검색 API를 도입하는 경우 백엔드에서 문서 소스와 연동하는 역할 필요 (AI가 버전별 정보를 학습하는 데에 도움이 됨)
llms.txt자동 생성/업데이트 스크립트 작성 추천- 정적 파일 서버에
/llms.txt노출 - AI 인덱싱용 API 구축 시 연결
👀 llms.txt 는 어떻게 보나요?
올바른 위치에 설정이 되었다면 {도메인}/llms.txt에 접근이 되는 지 브라우저에서 확인!
⛑️ llms.txt를 적용했다면? What’s next?
- AI에게 학습할 수 있도록 주소 알려주기! (현재는 AI에게 직접 제출할 수 있는 포멧이 없음)
예시 - ChatGPT
- 이걸 기억해줘 라고 요청하기!
하지만....😓
- 현재(2025년 5월 기준)로서는 Claude 조차도 영구적으로 학습을 하거나 자동으로 학습하지는 않는 것으로 보여짐.
- AI들이 공통적으로 주장하는 바는 llms.txt 파일의 URL을 직접 제공하면 읽어와서 안내하는 것 정도는 가능.
- 웹사이트에 대해 물어보면 대부분 검색된 결과를 기반으로 안내를 해주기 때문에 llms.txt 상의 내용이 우선순위로 보여지지는 않음.
- 실제로
{도메인명}/llms.txt경로로 Production에 파일을 추가해서 배포한 다음, AI를 학습시켰지만, 새로운 대화를 요청해 해당 서비스에 대해 물었을 때는 검색된 결과에 더 유사한 내용을 안내해주었다.
✅ 결론
- (아직까지는) 결국 사이트의 SEO나 블로그 등을 개선해서 검색 엔진에 잘 노출되게 하는 것이 가장 좋은 방법!
Reference
깨진 창문을 내버려 두지 말기