무료 점검

병원 홈페이지 robots.txt 설정

병원 홈페이지의 robots.txt는 검색엔진과 AI 검색 크롤러는 열어 두고, 관리자 화면과 학습용 수집처럼 원하지 않는 것만 골라 막는 방식으로 쓰는 것이 기본입니다. robots.txt는 사이트 맨 위 경로(https://도메인/robots.txt)에 두는 일반 텍스트 파일이고, 파일이 없으면 네이버 검색로봇은 모든 콘텐츠를 수집해도 되는 것으로 봅니다.

글 김경태 (치즈디자인 대표) · 최종 업데이트

기본 문법

robots.txt는 "어떤 크롤러에게(User-agent) 어떤 경로를 허용하거나(Allow) 막는지(Disallow)"를 줄 단위로 적습니다.

robots.txt
User-agent: 크롤러 이름
Disallow: 막을 경로
Allow: 허용할 경로

Sitemap: https://www.example.com/sitemap.xml

구글 공식 문서 기준으로 알아 둘 규칙은 다음과 같습니다.1

  • 크롤러는 자기 이름과 가장 구체적으로 맞는 그룹 하나만 따릅니다. User-agent: GPTBot 그룹이 있으면 GPTBot은 User-agent: * 그룹을 보지 않습니다.
  • 같은 경로에 허용과 차단이 겹치면 더 구체적인(긴) 규칙이 적용되고, 길이가 같으면 덜 제한적인 규칙이 적용됩니다.
  • 구글은 crawl-delay를 지원하지 않습니다. 파일 크기는 500KiB까지만 읽습니다.
  • robots.txt 주소가 404 같은 4xx 오류(429 제외)면 구글은 제한이 없는 것으로 봅니다. 5xx 서버 오류면 처음 12시간 동안 수집을 멈춥니다.

예시 1. 모두 허용 (가장 단순한 형태)

robots.txt
User-agent: *
Allow: /

Sitemap: https://www.example-clinic.com/sitemap.xml

AI 검색, 답변 중 열람, 학습용 수집까지 모두 허용합니다. 특별한 방침이 없다면 이 형태로도 충분합니다.

예시 2. AI 검색은 열고 학습용 수집만 막기

robots.txt
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://www.example-clinic.com/sitemap.xml
  • GPTBot·ClaudeBot·Google-Extended는 각 운영사가 학습용이라고 밝힌 이름입니다. 막아도 OAI-SearchBot, Claude-SearchBot, PerplexityBot 같은 AI 검색용 크롤러와 구글 검색에는 영향이 없다고 각사가 안내합니다.234
  • 크롤러는 가장 구체적인 그룹 하나만 따르므로, 학습용 크롤러 그룹에도 막고 싶은 경로를 모두 적어야 합니다. 위 예시는 사이트 전체(/)를 막아 문제가 없습니다.

예시 3. 관리자·개인정보 경로만 막기

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /member/
Allow: /

Sitemap: https://www.example-clinic.com/sitemap.xml

예약 확인, 회원 정보처럼 검색에 나오면 안 되는 경로를 막습니다. 경로 이름은 사이트마다 다르니 실제 주소를 보고 적습니다.

자주 하는 실수

  1. User-agent: * 아래 Disallow: /를 남겨 둔 채 오픈: 개발 중 막아 둔 설정을 지우지 않아 오픈 후에도 검색과 AI 검색에서 빠지는 경우입니다. 네이버도 이 설정은 사이트가 수집 대상에서 빠지므로 권장하지 않는다고 안내합니다.5
  2. AI 크롤러를 이름 하나로 한꺼번에 막기: 예를 들어 User-agent: ChatGPT처럼 실제로 없는 이름을 쓰면 아무 효과가 없습니다. 이름은 운영사 공식 문서에 적힌 그대로 씁니다.
  3. 학습용을 막으려다 AI 검색용까지 막기: OAI-SearchBot을 막으면 ChatGPT 검색 답변에 사이트가 나오지 않습니다.2 막을 이름과 열어 둘 이름을 구분합니다.
  4. 파비콘·이미지·CSS 경로 막기: 네이버는 파비콘 경로가 막혀 있으면 수집이 허용된 페이지라도 규칙이 꼬일 수 있다며 파비콘 수집을 허용하라고 안내합니다.5
  5. robots.txt를 비공개 수단으로 쓰기: robots.txt는 누구나 열어 볼 수 있는 공개 파일이고, 사용자가 시킨 AI 열람은 robots.txt를 따르지 않을 수 있습니다.26 노출되면 안 되는 정보는 로그인이나 비공개 설정으로 막습니다.

바꾼 뒤 확인하는 방법

  • 브라우저에서 https://도메인/robots.txt를 직접 열어 바꾼 내용이 보이는지 확인합니다.
  • 구글 서치 콘솔의 robots.txt 보고서와 네이버 서치어드바이저의 robots.txt 검증 도구로 문법 오류를 확인합니다.
  • AI 검색 반영은 바로 되지 않습니다. OpenAI와 Perplexity는 robots.txt 변경이 반영되기까지 약 24시간이 걸릴 수 있다고 안내합니다.26

정리

  • 병원 홈페이지는 검색엔진과 AI 검색용 크롤러를 열어 두는 것이 기본입니다.
  • 학습용 수집만 막고 싶다면 GPTBot·ClaudeBot·Google-Extended처럼 이름을 하나씩 지정합니다.
  • 바꾼 뒤에는 실제 파일과 검증 도구로 확인하고, 반영까지 시간이 걸린다는 점을 감안합니다.

우리 병원 홈페이지의 robots.txt가 AI 크롤러를 어떻게 처리하는지는 Cheese AI 무료 점검에서 확인할 수 있습니다.

출처

2026-11-10 확인

  1. Google Search Central, "How Google interprets the robots.txt specification" — developers.google.com/search/docs/crawling-indexing/robots/robots_txt ↩
  2. OpenAI, "Overview of OpenAI Crawlers" — platform.openai.com/docs/bots ↩
  3. Anthropic, "Does Anthropic crawl data from the web, and how can site owners block the crawler?" — support.claude.com/en/articles/8896518 ↩
  4. Google Search Central, "Google's common crawlers" — developers.google.com/search/docs/crawling-indexing/google-common-crawlers ↩
  5. 네이버 서치어드바이저, "robots.txt 설정하기" — searchadvisor.naver.com/guide/seo-basic-robots ↩
  6. Perplexity, "Perplexity Crawlers" — docs.perplexity.ai/guides/bots ↩