AI 크롤러, 어디까지 열어야 하나요?

가장 흔한 오해 · 봇은 하나가 아닙니다

“AI 크롤러를 막았다”는 말을 자주 듣습니다. 그런데 어떤 봇을 막았는지 물으면 답이 안 나오는 경우가 많습니다.

AI 업체의 봇은 용도별로 나뉘어 있습니다. 크게 세 종류입니다.

• 학습용 · 모델을 훈련시키기 위해 수집
• 검색 인덱싱용 · AI 검색 답변에 노출시키기 위해 수집
• 사용자 요청 페치용 · 사용자가 링크를 물었을 때 실시간 방문

이걸 구분하지 않고 “AI 봇 전부 차단”을 하면, 학습을 막으려다 노출까지 함께 막게 됩니다.

OpenAI · GPTBot과 OAI-SearchBot은 다릅니다

OpenAI 공식 문서 기준입니다.

봇	용도	학습 사용	robots.txt
GPTBot	모델 학습용 수집	예	준수
OAI-SearchBot	ChatGPT 검색 노출용 인덱싱	아니오	준수
ChatGPT-User	사용자 요청 시 실시간 방문	아니오	적용되지 않을 수 있음

여기서 실무적으로 가장 중요한 사실. GPTBot을 막아도 OAI-SearchBot을 열어두면 ChatGPT 검색 노출은 유지됩니다. 학습은 원치 않지만 노출은 원한다면 이 조합이 답입니다.

반대로 OAI-SearchBot을 막으면 OpenAI 문서 표현대로 “ChatGPT 검색 답변에 표시되지 않습니다”. 다만 같은 문장은 “내비게이션 링크로는 여전히 나타날 수 있다”는 단서를 함께 답니다. 답변 본문에서 빠질 뿐 흔적까지 사라지는 것은 아닙니다.

회사마다 정책이 다릅니다

“AI 봇은 robots.txt를 지킨다” 또는 “안 지킨다”는 둘 다 틀렸습니다. 봇마다 다릅니다.

회사	봇	robots.txt 준수 (공식 문서 기준)
Anthropic	ClaudeBot (학습)	준수
	Claude-User (사용자 요청)	준수
Perplexity	PerplexityBot (검색 노출)	준수
	Perplexity-User (사용자 요청)	일반적으로 무시한다고 문서에 명시

Anthropic은 사용자 요청 페치까지 robots.txt를 지킨다고 명시합니다. OpenAI·Perplexity와 정책이 다릅니다.

각 사 크롤러 공식 문서 기준. Perplexity의 실제 준수 여부에 대해서는 제3자 조사에서 이견이 제기된 바 있으나, 1차 판정은 어렵습니다.

Google-Extended를 오해하지 마십시오

가장 자주 보는 잘못된 설명이 이것입니다. “Google-Extended를 막으면 AI Overviews에서 빠진다.”

아닙니다. Google-Extended는 Gemini 앱 등 구글의 다른 AI 시스템이 콘텐츠를 학습·활용하는 것을 제어하는 수단입니다. AI Overviews 노출을 끄는 스위치가 아닙니다.

구글 공식 문서에 따르면 AI Overviews나 AI Mode에 지원 링크로 나오려면 페이지가 색인되어 있고 스니펫과 함께 검색결과에 표시될 수 있어야 하며, 서치 콘솔에서 사이트가 생성형 AI 기능에 포함되어 있어야 합니다. 반대로 말하면 nosnippet 같은 설정으로 스니펫을 막으면 AI 답변에서도 빠집니다.

국내에서는 변수가 하나 더 있습니다

2025년 6~7월, 네이버가 전 서비스에 AI 크롤러 차단을 순차 적용했습니다. 블로그·카페·지식iN·뉴스·쇼핑이 대상이었고, OpenAI·Perplexity·Google·Claude 등의 봇이 포함됐습니다.

즉 네이버 블로그에 쌓은 콘텐츠는 해외 AI가 읽지 못합니다. 국내에서 AI 답변에 잡히려면 자사 도메인의 콘텐츠 비중이 그만큼 중요해집니다.