llms.txt, 정말 효과가 있나요?

llms.txt가 무엇인가요?

2024년 9월 3일 Answer.AI의 Jeremy Howard가 제안한 규격입니다. 사이트 루트에 /llms.txt라는 마크다운 파일을 두고, 이 사이트에서 무엇을 어디서 읽으면 되는지를 AI에게 안내하는 개념입니다.

발상 자체는 합리적입니다. HTML은 광고·내비게이션·스크립트가 섞여 있어 기계가 읽기에 번잡하니, 정리된 안내문을 따로 두자는 것입니다.

구글은 명시적으로 무시한다고 밝혔습니다

구글이 2026년 7월 갱신한 공식 가이드의 “하지 않아도 되는 것” 목록에 이 항목이 들어 있습니다.

구글 검색(생성형 AI 기능 포함)에 나오기 위해 새로운 기계 판독용 파일, AI 텍스트 파일, 마크업, 마크다운을 만들 필요가 없습니다. 구글 검색 자체가 그것들을 사용하지 않기 때문입니다.

같은 문서는 이렇게 덧붙입니다. 다른 서비스를 위해 llms.txt를 만들어 유지하는 것은 괜찮지만, 구글 검색의 노출이나 순위에 해가 되지도 득이 되지도 않는다. 구글 검색은 이를 무시한다는 것입니다.

Google Search Central, Optimizing for generative AI features (최종 수정 2026-07-10)

다른 회사들은 어떤가요?

OpenAI·Anthropic·Perplexity의 크롤러 공식 문서를 전부 확인했습니다. 크롤링 정책 항목에서 llms.txt를 참조한다는 서술은 어느 곳에도 없습니다. 세 회사 모두 크롤링 제어 수단으로 robots.txt만 안내합니다.

OpenAI와 Perplexity의 개발자 문서 상단에 llms.txt 링크가 붙어 있기는 합니다. 다만 이는 자사 문서 사이트의 목차이지, 남의 사이트에 있는 llms.txt를 읽겠다는 선언이 아닙니다.

세 회사가 자사 개발자 문서용 llms.txt를 발행하고는 있습니다. 다만 그건 문서 도구가 자동 생성하는 개발자 편의 파일이지, “우리가 웹의 llms.txt를 읽어 인용에 반영한다”는 선언이 아닙니다.

흔한 오해 두 가지

오해 1 · “llms.txt는 AI 시대의 robots.txt다.”
아닙니다. 기능이 완전히 다릅니다. robots.txt는 접근을 제어합니다. llms.txt에는 접근 제어 기능이 없습니다. llms.txt로 크롤링을 막을 수 없습니다.

오해 2 · “만들면 AI 노출이 올라간다.”
이를 뒷받침하는 1차 근거를 찾지 못했습니다. 구글은 명시적으로 무시하고, 나머지 회사는 언급조차 없습니다.

그래서 만들어야 하나요?

정직한 답은 이렇습니다. 만들어도 손해는 없습니다. 다만 효과를 기대할 근거는 현재 없습니다.

비용이 거의 들지 않고, 규격이 나중에 채택될 가능성도 있습니다. 사이트 구조를 정리하는 과정 자체가 도움이 되기도 합니다. 그러니 만드는 것을 말리지는 않습니다.

다만 이것을 유료 산출물로 팔거나, AI 노출 개선의 근거로 제시하는 것은 다른 문제입니다. 강남펠리컨랩도 이 파일을 “AI를 위한 진입점”으로 설명해 왔는데, 근거를 다시 확인한 뒤 표현을 낮췄습니다. 저희가 파는 것에도 같은 기준을 적용해야 한다고 판단했습니다.

같은 시간과 비용을 쓸 수 있다면, 근거가 확인된 쪽에 쓰시는 편이 낫습니다. 크롤러 정책 정리, 중요 콘텐츠의 텍스트화, 측정 체계 구축입니다.