robots.txt 작성법, 예시 6개와 차단 확인 순서
robots.txt 작성법을 줄 단위로 정리했습니다. User-agent · Disallow · Allow · Sitemap 문법표, 전체 허용부터 AI 학습 로봇 차단까지 예시 6개, 주소창과 서치 콘솔로 확인하는 순서, 검색 결과에 정보가 없다고 뜰 때 할 일을 담았습니다.
robots.txt는 사이트 주소 바로 뒤 /robots.txt 자리에 두는 텍스트 파일로, 검색 로봇에게 어느 경로를 수집(크롤링)하지 말라고 알리는 규칙입니다. 수집이 안 된다는 문제가 생기면 두 가지부터 봅니다 — 공개해야 할 페이지를 Disallow 줄이 막고 있지 않은지, Sitemap 줄에 사이트맵 주소가 맞게 적혀 있는지. 다만 robots.txt는 페이지를 숨기는 장치가 아닙니다. 막은 주소도 다른 곳에서 링크되면 설명 없이 주소만 검색 결과에 뜰 수 있어, 검색에서 빼려면 noindex나 로그인을 씁니다.
robots.txt — 무엇이고 어디에 두나요
크롤링은 검색 로봇이 페이지를 읽어 가는 일이고, 색인은 읽어 간 페이지를 검색 결과에 낼 수 있게 저장하는 일입니다. robots.txt가 정하는 것은 앞의 크롤링뿐입니다. 구글 검색 센터는 이 파일의 주된 쓰임을 로봇의 방문량을 조절해 서버에 요청이 몰리지 않게 하는 것으로 설명합니다. 파일을 두는 자리에는 아래 규칙이 있습니다(구글 검색 센터, 2026년 10월 확인).
| 규칙 | 내용 | 틀리기 쉬운 경우 |
|---|---|---|
| 위치 | 사이트의 가장 바깥 폴더(루트) — https://example.com/robots.txt | /pages/robots.txt처럼 하위 폴더에 두면 읽지 않음 |
| 적용 범위 | 파일이 놓인 프로토콜 · 호스트 · 포트 안의 주소만 | m.example.com 같은 하위 도메인, http 주소는 각자 파일이 필요 |
| 파일 이름 | robots.txt 하나 | Robots.txt · robots.txt.txt로 저장 |
| 형식 | UTF-8 일반 텍스트 | 문서 편집 프로그램에서 저장해 숨은 문자가 섞임 |
| 크기 | 구글은 500KiB까지 읽고 그 뒤는 무시 | 막을 주소를 한 줄씩 수천 개 나열 |
파일을 열었을 때의 응답도 봅니다. 구글은 robots.txt 요청이 404 같은 4xx 응답(429 제외)이면 파일이 없는 것으로 보고 제한 없이 수집하고, 5xx 서버 오류가 나면 처음 12시간 동안 사이트 수집을 멈춘 채 다시 시도합니다. 그래서 파일이 없는 것은 급한 일이 아니지만, 이 주소가 서버 오류를 내면 바로 고칩니다.
robots.txt 작성법 — 어떤 줄로 쓰나요
한 묶음(그룹)은 User-agent 줄로 시작하고 그 아래에 Disallow · Allow 줄이 붙습니다. 구글이 읽는 줄은 아래 네 가지이고, crawl-delay 같은 다른 줄은 지원하지 않습니다.
| 줄 | 뜻 | 적는 예 |
|---|---|---|
| User-agent | 규칙을 따를 로봇 이름. *는 모든 로봇 | User-agent: * |
| Disallow | 수집하지 말 경로. 경로 없이 쓰면 그 줄은 무시됨 | Disallow: /admin/ |
| Allow | 막은 경로 안에서 다시 허용할 경로 | Allow: /admin/help/ |
| Sitemap | 사이트맵 전체 주소. 특정 로봇 묶음에 매이지 않음 | Sitemap: https://example.com/sitemap.xml |
| # (주석) | 사람이 읽는 메모. 로봇은 무시 | # 2026-10 관리자 경로 차단 |
읽는 규칙 세 가지도 함께 알아 둡니다.
- 경로는 대소문자를 가립니다 — Disallow: /Event는 /event를 막지 않습니다. 줄 이름(User-agent · Disallow)은 대소문자를 가리지 않습니다.
- *와 $ — *는 아무 글자 0개 이상, $는 주소의 끝입니다. Disallow: /*.pdf$는 .pdf로 끝나는 주소만 막습니다.
- 더 긴 규칙이 앞섭니다 — Disallow: /shop/과 Allow: /shop/new/가 함께 있으면 /shop/new/ 아래는 허용됩니다. 길이가 같은 두 규칙이 부딪치면 구글은 덜 막는 쪽을 따릅니다.
robots.txt 예시 6개는 어떻게 쓰나요
자주 쓰는 여섯 경우입니다. 경로 이름은 예시이므로 우리 사이트의 주소 구조에 맞게 바꿉니다. 여러 예시를 한 파일에 합칠 때는 같은 로봇 이름의 줄을 한 묶음 아래로 모읍니다.
① 전체 허용 + 사이트맵 — 막을 곳이 없는 사이트의 기본형입니다.
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml② 관리자 · 로그인 경로 차단 — 검색 결과에 나올 이유가 없는 화면입니다. 이 줄이 화면을 잠그지는 않으므로 로그인은 그대로 둡니다.
User-agent: *
Disallow: /admin/
Disallow: /login③ 사이트 안 검색 결과 · 정렬 주소 차단 — 검색어나 정렬 값이 붙은 주소는 끝없이 생겨 로봇의 방문을 잡아먹습니다.
User-agent: *
Disallow: /search
Disallow: /*sort=④ 특정 로봇만 다르게 — 로봇은 자기 이름이 가장 구체적으로 맞는 묶음 하나만 따르고 나머지 묶음은 보지 않습니다. 그래서 공통 규칙도 이름 묶음 안에 다시 적습니다.
User-agent: Googlebot
Disallow: /test/
User-agent: *
Disallow: /test/
Disallow: /print/⑤ AI 학습용 수집 로봇 차단 — 아래 세 이름은 각 회사 공식 문서에서 AI 학습용 수집을 막는 이름으로 안내된 것입니다(2026년 10월 확인 — Google-Extended는 Gemini 학습과 답변 근거 사용까지). 같은 회사의 검색 기능용 로봇(OAI-SearchBot · Claude-SearchBot)과 구글 검색 로봇은 이름이 달라 이 묶음에 걸리지 않습니다. robots.txt는 로봇이 스스로 따르는 약속이라, 모든 수집을 막는 장치는 아닙니다.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /⑥ 공개 전 시험 주소 전체 차단 — 시험용 주소(스테이징)의 보조 장치입니다. 시험 주소는 비밀번호로 잠그는 것이 먼저이고, 정식 공개 때 이 파일이 그대로 옮겨 오지 않게 공개 점검표 첫 줄에 /robots.txt 열기를 넣습니다.
User-agent: *
Disallow: /반대로 우리가 다른 사이트에서 데이터를 모으는 쪽이라면 robots.txt를 읽는 순서는 크롤링 프로그램을 만들 때 정할 것에 있습니다.
robots.txt 확인하는 법은 무엇인가요
- 주소창에서 열기 — 사이트 주소 뒤에 /robots.txt를 붙여 엽니다. www가 붙은 주소와 안 붙은 주소, 하위 도메인이 따로 있으면 각각 엽니다.
- User-agent: * 묶음 읽기 — Disallow: / 한 줄이 있으면 모든 로봇에게 사이트 전체를 막은 것입니다. 공개 페이지 경로(/blog · /product 등)가 Disallow에 들어 있는지도 봅니다.
- Sitemap 줄 열기 — 적힌 주소를 그대로 열어 페이지 주소 목록이 뜨는지 봅니다.
- 서치 콘솔 robots.txt 보고서 — 설정 화면에서 robots.txt 보고서를 열어 구글이 가져온 파일, 마지막 확인 시각, 문제(오류 · 경고) 수를 봅니다. 오류가 난 규칙은 쓰이지 않습니다. 이 보고서는 도메인 속성이나 경로 없는 URL 접두어 속성에서 열립니다. 서치 콘솔에 사이트를 아직 등록하지 않았다면 구글 서치콘솔 등록 순서부터 합니다.
- 고친 뒤 재크롤링 요청 — 중요한 경로의 차단을 풀었다면 같은 보고서에서 재크롤링을 요청합니다.
검색 결과에 정보를 수집할 수 없다고 뜰 때는 어떻게 하나요
흔히 "robots.txt로 인해 정보를 수집할 수 없습니다"로 검색되는 이 현상은, 검색 결과에 설명 대신 페이지 정보가 없다는 문구가 뜨는 경우입니다(문구는 검색엔진마다 조금 다릅니다). 구글 도움말은 이것을 robots.txt 같은 규칙 때문에 로봇이 페이지 내용을 읽지 못해 설명을 만들 수 없다는 뜻으로 설명합니다. 페이지를 읽지 않고도 색인은 될 수 있어 주소만 남습니다. 원하는 결과에 따라 할 일이 둘로 나뉩니다.
- 검색 결과에 설명까지 보이게 하려면 — 그 경로의 Disallow 줄을 지우고, 서치 콘솔 robots.txt 보고서에서 재크롤링을 요청합니다.
- 검색 결과에서 완전히 빼려면 — 페이지에 noindex를 넣거나, 로그인 뒤에만 보이게 하거나, 페이지를 지웁니다. 이때도 robots.txt의 Disallow 줄은 지웁니다.
둘째 경우가 헷갈리기 쉬운 곳입니다. robots.txt로 막아 둔 페이지에는 로봇이 들어가지 못해 noindex가 있어도 보지 못하고, 다른 곳에서 링크되면 주소가 계속 검색 결과에 뜹니다.
robots.txt에서 흔한 실수는 무엇인가요
| 실수 | 생기는 일 | 고치는 법 |
|---|---|---|
| 1. 시험 주소의 Disallow: /를 정식 공개 때 그대로 옮김 | 사이트 전체가 수집되지 않음 | 공개 점검표에 /robots.txt 열기를 넣음 |
| 2. 비공개 자료 경로를 Disallow로 감춤 | 파일은 누구나 열 수 있어 경로가 오히려 알려지고, 링크가 있으면 주소가 검색 결과에 뜰 수 있음 | 비밀번호 · 로그인으로 잠그고, 검색 제외는 noindex로 |
| 3. noindex를 넣은 페이지를 robots.txt로도 막음 | 로봇이 noindex를 보지 못함 | robots.txt 쪽 차단을 풂 |
| 4. 화면을 그리는 CSS · 자바스크립트 폴더를 막음 | 구글이 페이지를 이해하기 어려워질 수 있음 | 화면에 필요한 파일 경로는 막지 않음 |
| 5. robots.txt에 noindex 줄을 적음 | 구글은 이 줄을 지원하지 않음 | noindex는 페이지의 메타 태그나 HTTP 응답 헤더로 |
사이트 제작 도구나 CDN(콘텐츠 전송 서비스)을 쓰면 robots.txt를 그 서비스가 만들거나 덧붙이기도 합니다. 한 CDN은 AI 학습 로봇을 막는 줄을 원래 파일 앞에 덧붙이는 관리 기능을 두고 있어, 관리 화면에서 고친 내용과 실제로 열리는 내용이 다를 수 있습니다. 파일을 직접 올릴 수 없는 서비스라면 그 서비스의 검색엔진 설정 메뉴에서 바꾸고, 확인은 언제나 실제 주소를 열어서 합니다.
자주 묻는 질문
robots.txt가 없어도 되나요?
막을 경로가 없다면 급하지 않습니다. 구글은 robots.txt 요청이 404 같은 4xx 응답(429 제외)이면 파일이 없는 것으로 보고 제한 없이 수집합니다. 다만 Sitemap 줄을 적어 두면 사이트맵을 따로 제출하지 않은 검색엔진도 사이트맵 주소를 찾을 수 있어, 예시 ①처럼 세 줄짜리 파일을 두는 편이 정리가 쉽습니다. 문제가 되는 것은 파일이 없는 경우가 아니라 이 주소가 5xx 서버 오류를 내는 경우입니다.
robots.txt를 고치면 바로 반영되나요?
구글은 robots.txt를 대개 최대 24시간 저장해 두고 쓰기 때문에, 고친 내용은 보통 하루 안에 다시 읽힙니다. 중요한 경로의 차단을 풀었거나 오류를 고쳤다면 서치 콘솔 robots.txt 보고서에서 재크롤링을 요청합니다. 파일을 다시 읽은 뒤에도 차단이 풀린 페이지가 언제 다시 수집될지는 구글이 정합니다.
네이버 같은 다른 검색엔진도 robots.txt를 따르나요?
robots.txt 규칙은 2022년 9월 표준 문서(RFC 9309)로 정리됐고, 주요 검색엔진 로봇은 이 파일을 읽습니다. 다만 규칙을 따르는지는 로봇마다 다르고, 같은 문법도 로봇마다 조금씩 다르게 해석할 수 있다고 구글 검색 센터는 적습니다. 네이버 로봇 이름과 확인 방법은 쓰는 날 서치어드바이저 도움말에서 확인하고, 특정 로봇만 다르게 다룰 때는 예시 ④처럼 이름 묶음을 따로 둡니다.
AI 수집 로봇을 막으면 구글 검색에 영향이 있나요?
구글은 Google-Extended가 구글 검색에 사이트가 포함되는지와 상관없고 검색 순위 신호로도 쓰이지 않는다고 안내합니다. 다른 AI 서비스도 학습용 로봇과 검색 기능용 로봇의 이름을 나눠 공개합니다 — 예를 들어 OpenAI는 GPTBot(학습)과 OAI-SearchBot(ChatGPT 검색)을 따로 둡니다. AI 검색 답변에는 계속 나오고 싶다면 학습용 이름만 막고 검색용 이름은 그대로 둡니다.
오늘 할 일
우리 사이트 주소 뒤에 /robots.txt를 붙여 열고, User-agent: * 아래에 Disallow: /가 있는지, Sitemap 줄의 주소가 열리는지 두 가지만 확인하십시오. 둘 다 이상이 없으면 서치 콘솔 설정의 robots.txt 보고서에서 가져오기 상태가 가져옴인지 한 번 더 봅니다. 10분이면 됩니다.
이어서 읽기 — 구글 태그 매니저, 설치 4단계와 태그 예시 3개 · 메타태그 설정, 넣을 5가지와 제목·설명 길이
