HOME / 인사이트 / 블로그

AI 크롤러, 어디까지 열어야 하나요?

“AI가 우리 콘텐츠를 학습하는 게 싫다”와 “AI 답변에 우리가 나왔으면 좋겠다”는 함께 갈 수 있습니다. 봇이 다르기 때문입니다. 각 사 공식 문서만 보고 정리했습니다.

AI 봇은 하나로 묶어 다룰 수 있나요?

“AI 크롤러를 막았다”는 말을 자주 듣습니다. 그런데 어떤 봇을 막았는지 물으면 답이 안 나오는 경우가 많습니다.

AI 업체의 봇은 용도별로 나뉘어 있습니다. 크게 세 종류입니다.

  • 학습용 · 모델을 훈련시키기 위해 수집
  • 검색 인덱싱용 · AI 검색 답변에 노출시키기 위해 수집
  • 사용자 요청 페치용 · 사용자가 링크를 물었을 때 실시간 방문

이걸 구분하지 않고 “AI 봇 전부 차단”을 하면, 학습을 막으려다 노출까지 함께 막게 됩니다.

OpenAI의 GPTBot과 OAI-SearchBot은 어떻게 다른가요?

OpenAI 공식 문서 기준입니다.

봇용도학습 사용robots.txt
GPTBot모델 학습용 수집예준수
OAI-SearchBotChatGPT 검색 노출용 인덱싱아니오준수
ChatGPT-User사용자 요청 시 실시간 방문아니오적용되지 않을 수 있음

여기서 실무적으로 가장 중요한 사실. GPTBot을 막아도 OAI-SearchBot을 열어두면 ChatGPT 검색 노출은 유지됩니다. 학습은 원치 않지만 노출은 원한다면 이 조합이 답입니다.

반대로 OAI-SearchBot을 막으면 OpenAI 문서 표현대로 “ChatGPT 검색 답변에 표시되지 않습니다”. 다만 같은 문장은 “내비게이션 링크로는 여전히 나타날 수 있다”는 단서를 함께 답니다. 답변 본문에서 빠질 뿐 흔적까지 사라지는 것은 아닙니다.

회사마다 robots.txt 정책이 다른가요?

“AI 봇은 robots.txt를 지킨다” 또는 “안 지킨다”는 둘 다 틀렸습니다. 봇마다 다릅니다.

회사봇robots.txt 준수 (공식 문서 기준)
AnthropicClaudeBot (학습)준수
Claude-User (사용자 요청)준수
PerplexityPerplexityBot (검색 노출)준수
Perplexity-User (사용자 요청)일반적으로 무시한다고 문서에 명시

Anthropic은 사용자 요청 페치까지 robots.txt를 지킨다고 명시합니다. OpenAI·Perplexity와 정책이 다릅니다.

각 사 크롤러 공식 문서 기준. Perplexity의 실제 준수 여부에 대해서는 제3자 조사에서 이견이 제기된 바 있으나, 1차 판정은 어렵습니다.

Google-Extended를 막으면 AI Overviews에서 빠지나요?

가장 자주 보는 잘못된 설명이 이것입니다. “Google-Extended를 막으면 AI Overviews에서 빠진다.”

아닙니다. Google-Extended는 Gemini 앱 등 구글의 다른 AI 시스템이 콘텐츠를 학습·활용하는 것을 제어하는 수단입니다. AI Overviews 노출을 끄는 스위치가 아닙니다.

구글 공식 문서에 따르면 AI Overviews나 AI Mode에 지원 링크로 나오려면 페이지가 색인되어 있고 스니펫과 함께 검색결과에 표시될 수 있어야 하며, 서치 콘솔에서 사이트가 생성형 AI 기능에 포함되어 있어야 합니다. 반대로 말하면 nosnippet 같은 설정으로 스니펫을 막으면 AI 답변에서도 빠집니다.

국내 검색 환경에는 어떤 변수가 하나 더 있나요?

2025년 6~7월, 네이버가 전 서비스에 AI 크롤러 차단을 순차 적용했습니다. 블로그·카페·지식iN·뉴스·쇼핑이 대상이었고, OpenAI·Perplexity·Google·Claude 등의 봇이 포함됐습니다.

즉 네이버 블로그에 쌓은 콘텐츠는 해외 AI가 읽지 못합니다. 국내에서 AI 답변에 잡히려면 자사 도메인의 콘텐츠 비중이 그만큼 중요해집니다.

네이버의 AI 크롤러 차단 범위와 국내 검색 환경은 네이버 AI 브리핑과 국내 검색 환경에서 따로 정리했습니다.

실행 순서. ① robots.txt를 열어 지금 무엇을 막고 있는지 확인 ② 학습용·검색용 봇을 구분해 정책을 정함 ③ 검색 노출용 봇(OAI-SearchBot·PerplexityBot·Claude-SearchBot)은 열어둘 것 ④ 스니펫을 막는 설정이 없는지 확인. 차단 범위는 각 사 정책이 바뀌므로 주기적으로 재확인해야 합니다.

llms.txt가 AI 노출에 도움이 되는지는 llms.txt, 정말 효과가 있나요?에서 다뤘습니다.

자주 묻는 질문

병원 홈페이지에서 GPTBot을 막으면 ChatGPT 검색 노출도 사라지나요?
아니요, GPTBot을 막아도 OAI-SearchBot을 열어두면 ChatGPT 검색 노출은 유지됩니다. GPTBot은 모델 학습용 수집 봇이고 OAI-SearchBot은 ChatGPT 검색 노출용 인덱싱 봇이라 용도가 다르기 때문입니다. 반대로 OAI-SearchBot을 막으면 OpenAI 문서 표현대로 ChatGPT 검색 답변에 표시되지 않습니다.
홈페이지 robots.txt에서 Google-Extended를 막으면 구글 AI Overviews에서 빠지나요?
빠지지 않습니다. Google-Extended는 Gemini 앱 등 구글의 다른 AI 시스템이 콘텐츠를 학습·활용하는 것을 제어하는 수단이고, AI Overviews 노출을 끄는 스위치가 아닙니다. AI Overviews나 AI Mode에 나오려면 페이지가 색인되어 스니펫과 함께 표시될 수 있어야 하며, nosnippet 같은 설정으로 스니펫을 막으면 AI 답변에서도 빠집니다.
네이버 블로그에 쓴 병원 글은 ChatGPT 같은 해외 AI가 읽을 수 있나요?
읽지 못합니다. 2025년 6~7월 네이버가 전 서비스에 AI 크롤러 차단을 순차 적용했고, 블로그·카페·지식iN·뉴스·쇼핑이 대상이었으며 OpenAI·Perplexity·Google·Claude 등의 봇이 포함됐습니다. 그래서 국내에서 AI 답변에 잡히려면 자사 도메인의 콘텐츠 비중이 그만큼 중요해집니다.

참고 출처

  1. OpenAI, Overview of OpenAI Crawlers · https://developers.openai.com/api/docs/bots
  2. Anthropic, Does Anthropic crawl data from the web? · https://support.claude.com/en/articles/8896518
  3. Perplexity, Perplexity Crawlers · https://docs.perplexity.ai/docs/resources/perplexity-crawlers
  4. Google Search Central, AI features and your website · https://developers.google.com/search/docs/appearance/ai-features
  5. Google Search Central, Optimizing for generative AI features (2026-07-10) · https://developers.google.com/search/docs/fundamentals/ai-optimization-guide
  6. 네이버 AI 크롤러 차단 확대 (전자신문, 2025-07-16) · https://www.etnews.com/20250716000347

우리 브랜드는 AI 답변에 나오고 있나요?

브랜드명 1건에 대한 AI 노출 리포트를 무상으로 드립니다. 신청을 접수하면 3영업일 이내에 담당 팀이 회신합니다.

전화로 바로 문의하시려면 070‑8919‑8353

PELI AI 가 무엇을 어떻게 재는지는 서비스 소개 페이지에 정리해 두었습니다.

PELI AI 서비스 소개 보기

직접 써 보고 싶으시면 PELI AI 무료 체험을 신청할 수 있습니다. 가입 후 확인을 거쳐 48시간 동안 핵심 질문 20개로 이용합니다(2026년 10월 기준).

PELI AI 무료 체험 신청