# AI 크롤러 및 검색 봇 제어하기

Source: https://support.kapsulehost.com/ko-kr/site-crawlers

Crawlers 탭은 사이트를 색인할 수 있도록 허용된 자동 방문자를 제어하며, 검색엔진, AI 답변 엔진, SEO 도구, 소셜 미리보기 봇으로 그룹화되어 있습니다. 이 가이드는 각 그룹이 하는 일, KapsuleHost가 기본적으로 허용하는 것, 그리고 차단이 실제로 어떤 대가를 치르게 하는지 설명합니다.

## KPanel에서 크롤러 설정 위치

1. [KPanel](https://kpanel.kapsulehost.com)에 로그인합니다.
2. 왼쪽 사이드바에서 **웹사이트**를 클릭한 다음 사이트를 클릭합니다.
3. 사이트의 왼쪽 메뉴에서 **성능**를 연 다음 **크롤러**를 엽니다.

직접 주소는 `/websites/<site-id>/crawlers`입니다.

![KPanel에서 사이트의 Crawlers 페이지, AI 크롤러 및 검색 봇 제어 포함](https://support.kapsulehost.com/help/screenshots/site-crawlers.e60d4ece.webp)

## 이 페이지가 실제로 변경하는 것

그룹을 전환하면 사이트의 `robots.txt` 파일이 다시 작성됩니다. 이 파일은 정상적으로 동작하는 자동 방문자에게 공개적으로 전달되는 요청이며, 주요 크롤러들은 이를 준수합니다.

여기서 두 가지 결과가 따르며, 둘 다 중요합니다.

**이것은 요청이지 장벽이 아닙니다.** `robots.txt`를 무시하는 크롤러는 이 페이지의 어떤 설정에도 영향을 받지 않습니다. 문제가 자신을 정직하게 밝히지 않는 무언가의 스크래핑이라면, 이 도구는 적합하지 않습니다. 대신 사이트의 **보안** 페이지에 있는 IP 차단 목록이나 국가별 필터링을 사용하세요. [사이트 보안](https://support.kapsulehost.com/ko-kr/site-security) 및 [사이트 국가 차단](https://support.kapsulehost.com/ko-kr/site-geo-blocking)을 참고하세요.

**이것은 크롤링을 제어할 뿐, 이미 색인된 내용은 제어하지 않습니다.** 크롤러를 차단하면 이후의 수집이 중단됩니다. 이미 색인에 포함된 콘텐츠는 보통 시간이 지나면서 제외되지만, 즉시 사라지지는 않습니다.

변경 사항은 스위치를 전환하는 즉시 저장됩니다. 페이지에는 **Saving**이 표시된 다음 **Saved, robots.txt updated**가 표시됩니다.

## 네 가지 그룹

**검색엔진.** 일반적인 검색 결과를 담당하는 전통적인 크롤러들입니다: Googlebot, Bingbot, DuckDuckBot, Applebot, YandexBot.

**AI 검색 및 답변 엔진.** 사용자의 콘텐츠를 AI 생성 답변과 검색 개요에 포함시키는 시스템을 위한 크롤러입니다: OpenAI의 GPTBot과 OAI-SearchBot, Anthropic의 ClaudeBot과 anthropic-ai, PerplexityBot, Google-Extended, Cohere, Meta, Diffbot.

**SEO 및 분석 도구.** 사이트를 감사하는 데 사용되는 플랫폼의 크롤러입니다: AhrefsBot, SemrushBot, MJ12bot, DotBot, Baiduspider.

**소셜 미디어 및 미리보기.** 누군가 링크를 공유할 때 미리보기 카드를 가져오는 크롤러입니다: Twitterbot, Facebook 미리보기 수집기, LinkedInBot, Slackbot, Discordbot.

각 그룹 카드에는 소유자와 함께 해당 그룹의 모든 크롤러가 나열되어 있어, 전환하기 전에 무엇이 영향을 받는지 정확히 확인할 수 있습니다.

## KapsuleHost의 기본값: AI 크롤러는 허용됨

AI 크롤러를 포함한 모든 그룹이 기본적으로 허용되며, 이는 실수가 아니라 의도적인 방침입니다.

많은 호스팅 업체들이 고객을 대신해 조용히 AI 크롤러를 차단합니다. 저희는 그렇게 하지 않습니다. 이는 사용자의 트래픽이고 사용자의 결정이기 때문이며, 또한 그 기본값이 가시성을 희생시키기 때문입니다. AI 검색 결과는 실제로 존재하며 계속 성장하는 유입 경로입니다. AI 시스템이 읽을 수 없는 사이트는 그러한 답변에 나타나지 않으며, 이는 그만큼의 트래픽을 얻지 못한다는 뜻입니다.

차단을 원하신다면 바로 여기에서 제어할 수 있습니다. 다만 저희가 사용자에게 알리지 않고 그 선택을 대신 내리지는 않겠습니다.

## 각 그룹에 대한 결정

**검색엔진.** 사이트가 정말로 비공개가 아닌 이상 허용 상태로 두세요. 비공개라면 어차피 비밀번호 보호가 적절한 도구입니다. [사이트 비밀번호 보호](https://support.kapsulehost.com/ko-kr/site-password-protect)를 참고하세요.

**AI 검색 및 답변 엔진.** 이것이 이 페이지에서 내려야 할 진짜 결정입니다.

AI 답변을 통한 트래픽과 인용을 원한다면 허용하세요. 이는 거의 모든 상업 사이트, 출판사, 서비스 비즈니스에 해당합니다.

콘텐츠 자체가 제품이고 요약되는 것이 방문할 이유를 없애는 경우, 콘텐츠 재사용에 계약상 또는 라이선스상 제약이 있는 경우, 또는 AI 학습에 대해 의도적인 편집 방침을 세운 경우에는 차단을 고려하세요.

트레이드오프에 대해 정직해야 합니다. 차단하면 사이트가 AI 생성 검색 개요와 답변에서 사라지며, 이는 이론적인 위험이 아니라 측정 가능한 트래픽 손실입니다.

**SEO 및 분석 도구.** 가장 차단하기 쉬운 그룹입니다. 이들은 직접적으로 아무런 이득도 주지 않습니다. 다른 사람들이 사용자의 사이트를 감사할 수 있게 해줄 뿐이며, 대규모 사이트에서는 실제 크롤링 부하를 추가할 수 있습니다. 이를 차단하면 경쟁사의 조사 도구에서 사용자의 사이트가 덜 보이게 되는데, 이를 장점으로 여기는 사람들도 있습니다. 대가는 사용자 자신의 SEO 도구 역시 사이트에 대한 데이터를 잃을 수 있다는 점입니다.

**소셜 미디어 및 미리보기.** 링크 미리보기를 전혀 원하지 않는 경우가 아니라면 허용 상태로 두세요. 이를 차단하면 소셜 플랫폼과 채팅 앱에서 공유된 사이트 링크가 제목, 설명, 이미지 없이 그냥 URL로만 표시되며, 이는 클릭률을 측정 가능할 정도로 떨어뜨립니다.

## 모든 AI 크롤러 한 번에 차단하기

페이지 하단에는 위험 구역 카드인 **모든 AI 크롤러 차단**이 있습니다. 이를 클릭하면 한 번의 동작으로 AI 그룹의 모든 크롤러에 대한 차단 규칙이 추가됩니다.

클릭하면 먼저 확인을 요청하며, 확인 메시지에는 그 결과가 명확하게 명시됩니다: 사이트가 AI 검색 개요에서 사라지며, 이는 실제 트래픽 손실을 가져옵니다.

> **Warning:** 이것은 보안 결정이 아니라 트래픽 결정입니다. AI 크롤러를 차단한다고 해서 콘텐츠가 복사되는 것을 막을 수 없습니다. 누구나 여전히 사용자의 페이지를 읽을 수 있으며, 애초에 악의적인 행위자는 `robots.txt`를 준수할 생각이 없습니다. 이 기능이 확실하게 하는 일은 사용자를 AI 생성 답변에서 제외시키는 것입니다. 이것이 정말로 원하는 트레이드오프인지 확인하세요.

이 작업은 되돌릴 수 있습니다. AI 그룹을 다시 켜면 다음 저장 시 차단 규칙이 제거됩니다. 이후 다시 색인되기까지는 시간이 걸립니다.

## 누가 이것을 변경할 수 있나요

크롤러 설정을 변경하려면 사이트 쓰기 권한이 필요합니다. 읽기 전용 역할에서는 스위치가 비활성화되며, 마우스를 올리면 그 이유가 표시됩니다. 계정 소유자에게 변경을 요청하거나 역할을 조정하세요.

## 문제 해결

**그룹을 차단했는데도 크롤러가 여전히 방문합니다.** 정상적으로 동작하는 크롤러는 요청마다가 아니라 주기적으로 `robots.txt`을 다시 읽으므로 시간이 걸릴 수 있습니다. 계속 멈추지 않는다면 해당 크롤러가 이 파일을 준수하지 않는 것이며, 대신 접근 제어가 필요합니다. [사이트 보안](https://support.kapsulehost.com/ko-kr/site-security)을 참고하세요.

**차단한 후에도 제 페이지가 여전히 검색 결과에 나옵니다.** 차단은 앞으로의 크롤링을 중단시킬 뿐입니다. 기존 색인 항목은 시간이 지나면서 만료됩니다. 콘텐츠를 빠르게 제거하려면 해당 검색엔진의 자체 제거 도구를 사용하세요.

**링크 미리보기가 작동하지 않습니다.** 소셜 그룹이 차단되어 있습니다. 다시 켜세요.

**제 SEO 도구에 사이트 데이터가 없습니다.** SEO 그룹이 차단되어 있으며, 이는 다른 사람들의 도구와 마찬가지로 사용자의 도구에도 영향을 미칩니다.

**여기서 무언가를 변경한 후 트래픽이 감소했습니다.** 어떤 그룹이 차단되어 있는지 확인하세요. 검색이나 AI가 꺼져 있다면 그것이 원인이며, 다시 켜면 회복이 시작됩니다.

**제가 신경 쓰는 크롤러가 목록에 없습니다.** 각 그룹은 주요 유명 크롤러들만 포함합니다. 목록에 없는 것은 파일 상단의 일반 허용 규칙을 따르며, 이 전환 스위치로는 차단되지 않습니다.

**제 사이트가 전혀 색인되지 않는데 여기서는 모두 허용되어 있습니다.** 다른 무언가가 이를 차단하고 있는 것입니다. 사이트 전체 비밀번호 보호가 켜져 있는지, 국가 필터링이 크롤러의 지역을 차단하고 있는지, 또는 사이트가 자신의 도메인이 아니라 공유 주소에 있는지 확인하세요.

## 관련 페이지

- [사이트 트래픽 분석](https://support.kapsulehost.com/ko-kr/site-analytics)에서 크롤러 트래픽이 요청 수와 대역폭 측면에서 실제로 얼마의 비용을 발생시키는지 확인하세요.
- IP 차단 및 기타 실질적인 접근 제어는 [사이트 보안](https://support.kapsulehost.com/ko-kr/site-security)을 참고하세요.
- 지역 기반 필터링은 [사이트 국가 차단](https://support.kapsulehost.com/ko-kr/site-geo-blocking)을 참고하세요.
- 크롤러를 포함해 모든 것으로부터 사이트를 숨기려면 [사이트 비밀번호 보호](https://support.kapsulehost.com/ko-kr/site-password-protect)를 참고하세요.