AI가 크롤링 시 js, css 등을 포함한 웹사이트 전체를 읽지만 실제 정보는 몇 KB 밖에 불과해 토큰이 낭비됨
이런 비효율적으로 읽는 문제를 개선한다는 내용
Making agent-friendly pages with content negotiation - Vercel
Making agent-friendly pages with content negotiation - Vercel
Learn how Vercel uses HTTP content negotiation to serve markdown to agents and HTML to humans from the same URL, reducing response sizes by 90% while keeping both versions synchronized.
vercel.com
HTTP의 Accept 헤더를 활용해 AI에게는 마크다운을, 사람에게는 HTML을 제공하는 방식
Vercel은 500KB → 2KB로 99.6% 용량 감소를 달성했다고 함
브라우저 요청: Accept: text/html → HTML 응답
AI 요청: Accept: text/markdown → Markdown 응답
동일한 URL이지만 클라이언트에 따라 다른 형식을 제공함
-------------------------------
아래와 같은 경우 적용하면 좋을 듯
기술 문서/API 문서
개발자들이 AI를 통해 가장 많이 찾는 콘텐츠
Spring Boot Docs, React Docs 같은 프레임워크 문서
기술 블로그/튜토리얼
Vercel이 실제로 적용한 사례
개인 기술 블로그, 회사 엔지니어링 블로그
제품 문서/헬프센터
AI 챗봇이 고객 지원 시 참조
SaaS 제품 가이드, FAQ
지식 베이스/위키
구조화된 정보가 많아 AI가 활용하기 좋음
사내 위키, 교육 플랫폼
------------------------------------------------
+ llms.txt 함께 사용하기
웹사이트 루트에 /llms.txt를 두어 AI에게 사이트 구조를 안내하는 것도 좋은 방법이라고 함
The /llms.txt file – llms-txt
A proposal to standardise on using an /llms.txt file to provide information to help LLMs use a website at inference time.
llmstxt.org
mintlify의 사례
Improved agent experience with llms.txt and content negotiation
Improved agent experience with llms.txt and content negotiation
Clear, accessible documentation is a prerequisite for agents to successfully perform real world tasks. By improving llms.txt discoverability, we reduce friction in how agents find and consume the documentation they depend on.
www.mintlify.com
'개발 > AI' 카테고리의 다른 글
| Spring AI로 Pi 스타일 에이전트 하네스 만들기 (0) - init (0) | 2026.06.26 |
|---|---|
| 에이전트 토큰을 줄이는 방법 (Caveman vs RTK) (0) | 2026.05.26 |
| 하네스의 다음 -> 실패 루프를 설계하기 (1) | 2026.05.15 |
| LLM 시대를 예측한 Peter Norvig의 다음 예측 (0) | 2026.05.08 |
| 읽지 않는 코드의 시대를 읽고 (0) | 2026.03.11 |