AI 크롤러는 용도에 따라 학습용 수집, AI 검색용 색인, 답변 중 실시간 열람 세 종류로 나뉩니다. 같은 회사라도 용도마다 이름이 다르고, 하나를 막아도 나머지는 영향을 받지 않습니다. 그래서 병원 홈페이지에서 "AI 크롤러를 막을지"는 한 번에 정할 문제가 아니라 크롤러마다 따로 정할 문제입니다.

운영사별 크롤러 이름

아래 표는 각 운영사 공식 문서를 2026-11-10에 직접 확인해 정리한 것입니다. 크롤러 이름과 정책은 바뀔 수 있으니 설정을 바꾸기 전에 출처 문서를 다시 확인하세요.

운영사	학습용 수집	AI 검색용 색인	답변 중 열람
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	(해당 없음)	PerplexityBot	Perplexity-User
Google	Google-Extended (robots.txt 표시)	Googlebot (검색 색인)	-

운영사별로 확인한 내용

OpenAI

GPTBot은 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집합니다. GPTBot을 막으면 그 사이트 콘텐츠를 학습에 쓰지 말라는 뜻이 됩니다.
OAI-SearchBot은 ChatGPT 검색 기능에 사이트를 보여 주기 위한 크롤러입니다. OpenAI는 OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않는다고 안내합니다(이동용 링크로는 나올 수 있음).
ChatGPT-User는 사용자가 ChatGPT에 질문했을 때 페이지를 직접 여는 용도입니다. 사용자가 시킨 요청이라 robots.txt 규칙이 적용되지 않을 수 있다고 적혀 있습니다.
두 설정은 서로 독립적입니다. 예를 들어 OAI-SearchBot은 허용하고 GPTBot은 막을 수 있습니다. robots.txt를 바꾼 뒤 검색 결과에 반영되기까지 약 24시간이 걸릴 수 있습니다.¹

Anthropic(Claude)

ClaudeBot은 모델 학습에 쓰일 수 있는 웹 콘텐츠를 수집합니다. 막으면 이후 콘텐츠를 학습 데이터에서 빼 달라는 뜻이 됩니다.
Claude-SearchBot은 검색 결과 품질을 위해 페이지를 색인합니다. 막으면 사용자 검색 결과에서 사이트가 덜 보일 수 있다고 안내합니다.
Claude-User는 사용자가 Claude에 질문했을 때 페이지를 여는 용도입니다. 막으면 사용자 질문에 대한 답변에 그 사이트 내용을 가져오지 못합니다.
robots.txt를 따르며, 비표준 확장인 Crawl-delay도 지원한다고 밝히고 있습니다.²

Perplexity

PerplexityBot은 Perplexity 검색 결과에 사이트를 보여 주고 링크하기 위한 크롤러이며, AI 기반 모델 학습용 수집에는 쓰지 않는다고 밝히고 있습니다.
Perplexity-User는 사용자 질문에 답하면서 페이지를 여는 용도입니다. 사용자가 요청한 열람이라 robots.txt 규칙을 대체로 따르지 않는다고 적혀 있습니다.
변경이 반영되기까지 최대 24시간이 걸릴 수 있습니다.³

Google

구글 AI 개요와 AI 모드는 구글 검색 색인을 바탕으로 동작합니다. 여기에 나오기 위한 별도 요건은 없고 일반 검색 기본 원칙이 적용됩니다.⁴
Google-Extended는 별도 크롤러가 아니라 robots.txt에 쓰는 표시입니다. 실제 수집은 기존 구글 크롤러가 하고, 이 표시는 Gemini 모델 학습과 일부 서비스의 근거 자료로 쓰일지만 정합니다. 구글은 Google-Extended가 검색 노출과 순위에 영향을 주지 않는다고 밝히고 있습니다.⁵
검색 결과에 보이는 내용을 줄이려면 robots.txt가 아니라 nosnippet, data-nosnippet, max-snippet, noindex 같은 페이지 단위 설정을 씁니다.⁴

병원 홈페이지에서는 어떻게 정할까

정답은 병원마다 다르지만, 판단 순서는 이렇게 잡으면 됩니다.

AI 검색용 크롤러(OAI-SearchBot, Claude-SearchBot, PerplexityBot)와 Googlebot은 열어 두는 것을 기본으로 합니다. 이것을 막으면 환자가 AI 검색으로 병원을 찾을 때 공식 홈페이지가 답변 근거에서 빠질 수 있습니다.
답변 중 열람용 크롤러(ChatGPT-User, Claude-User, Perplexity-User)도 열어 둡니다. 환자가 병원 이름을 직접 물었을 때 AI가 공식 페이지를 열어 확인하는 경로입니다.
학습용 수집(GPTBot, ClaudeBot, Google-Extended)은 병원 방침에 따라 정합니다. 막아도 AI 검색 노출에는 직접 영향이 없다는 것이 각 운영사의 설명입니다. 원장님 칼럼이나 자체 제작 사진처럼 학습에 쓰이길 원하지 않는 자료가 많다면 막는 쪽을 검토할 수 있습니다.

주의할 점

robots.txt는 요청일 뿐입니다. 운영사들은 robots.txt를 따른다고 밝히지만, 사용자가 시킨 실시간 열람은 예외일 수 있다고 직접 적고 있습니다. 개인정보처럼 절대 노출되면 안 되는 정보는 robots.txt가 아니라 로그인이나 비공개 설정으로 막아야 합니다.
이름만 같은 가짜 크롤러가 있습니다. User-Agent 문자열은 누구나 흉내 낼 수 있어 접속 기록에 GPTBot이 보인다고 실제 OpenAI라는 보장은 없습니다. 확인 방법은 별도 편에서 다룹니다.
방화벽(WAF) 설정도 함께 봐야 합니다. robots.txt에서 허용해도 호스팅사 방화벽이 AI 크롤러를 막고 있으면 수집되지 않습니다. Perplexity는 공식 문서에서 주요 방화벽 서비스별 허용 방법을 안내하고 있습니다.³

정리

AI 크롤러는 학습용, AI 검색용, 답변 중 열람용으로 나뉘고, 운영사마다 이름이 다릅니다.
병원 홈페이지는 AI 검색용과 답변용을 열어 두고, 학습용은 병원 방침에 따라 정하는 것이 일반적인 출발점입니다.
크롤러 이름과 정책은 자주 바뀌므로 설정을 바꿀 때마다 공식 문서를 다시 확인합니다.

우리 병원 홈페이지가 어떤 AI 크롤러에 열려 있는지는 Cheese AI 무료 점검에서 확인할 수 있습니다.

출처

2026-11-10 확인

OpenAI, "Overview of OpenAI Crawlers" — platform.openai.com/docs/bots ↩
Anthropic, "Does Anthropic crawl data from the web, and how can site owners block the crawler?" — support.claude.com/en/articles/8896518 ↩
Perplexity, "Perplexity Crawlers" — docs.perplexity.ai/guides/bots ↩
Google Search Central, "AI features and your website" — developers.google.com/search/docs/appearance/ai-features ↩
Google Search Central, "Google's common crawlers" — developers.google.com/search/docs/crawling-indexing/google-common-crawlers ↩

AI 크롤러 종류