Crawler'lar sekmesi, hangi otomatik ziyaretçilerin sitenizi dizine ekleyebileceğini kontrol eder; arama motorları, AI yanıt motorları, SEO araçları ve sosyal önizleme botları olarak gruplandırılmıştır. Bu kılavuz her grubun ne yaptığını, KapsuleHost'un varsayılan olarak neye izin verdiğini ve engellemenin size gerçekte neye mal olacağını açıklar.
Crawler Ayarları KPanel'de Nerede Bulunur
- KPanel'de oturum açın.
- Sol kenar çubuğunda Web Siteleri'e tıklayın, ardından siteye tıklayın.
- Sitenin sol menüsünde Performans'ı açın, ardından Tarayıcılar'ı açın.
Doğrudan adres /websites/<site-id>/crawlers'dir.
Bu Sayfa Gerçekte Neyi Değiştirir
Bir grubu değiştirmek, sitenizin robots.txt dosyasını yeniden yazar. Bu dosya, iyi davranan otomatik ziyaretçilere yayınlanmış bir ricadır ve büyük crawler'lar buna uyar.
Bundan iki sonuç çıkar ve ikisi de önemlidir.
Bu bir rica, duvar değil. robots.txt'ü yok sayan bir crawler, bu sayfadaki hiçbir şeyden etkilenmez. Sorununuz kendini dürüstçe tanıtmayan bir şey tarafından yapılan kazıma (scraping) ise, bu yanlış araçtır: bunun yerine sitenin Güvenlik sayfasındaki IP engelleme listesini veya ülke filtrelemesini kullanın. Bkz. Site Güvenliği ve Bir Site İçin Ülke Engelleme.
Bu, dizinlemeyi kontrol eder, zaten dizine eklenmiş olanı değil. Bir crawler'ı engellemek, gelecekteki taramaları durdurur. Bir dizinde zaten bulunan içerik genellikle zamanla düşer, ama anında değil.
Değişiklikler bir anahtarı değiştirdiğiniz anda kaydedilir. Sayfa önce Saving, ardından Saved, robots.txt updated gösterir.
Dört Grup
Arama motorları. Sıradan arama sonuçlarının arkasındaki geleneksel crawler'lar: Googlebot, Bingbot, DuckDuckBot, Applebot ve YandexBot.
AI arama ve yanıt motorları. İçeriğinizi AI tarafından üretilen yanıtlara ve arama genel bakışlarına dahil eden sistemler için crawler'lar: OpenAI'den GPTBot ve OAI-SearchBot, Anthropic'ten ClaudeBot ve anthropic-ai, PerplexityBot, Google-Extended, Cohere, Meta ve Diffbot.
SEO ve analitik araçları. Siteleri denetlemek için kullanılan platformlardan crawler'lar: AhrefsBot, SemrushBot, MJ12bot, DotBot ve Baiduspider.
Sosyal medya ve önizleme. Biri bir bağlantıyı paylaştığında önizleme kartı getiren crawler'lar: Twitterbot, Facebook önizleme getiricisi, LinkedInBot, Slackbot ve Discordbot.
Her grup kartı, içindeki her crawler'ı sahibiyle birlikte listeler; böylece bir anahtarı çevirmeden önce tam olarak neyi kapsadığını görebilirsiniz.
KapsuleHost'un Varsayılanı: AI Crawler'lara İzin Verilir
AI crawler'lar dahil her grup varsayılan olarak izinlidir ve bu bir ihmal değil, bilinçli bir duruştur.
Bazı barındırma sağlayıcıları, müşterileri adına sessizce AI crawler'ları engeller. Biz engellemiyoruz; çünkü bu sizin trafiğiniz ve sizin kararınız, ayrıca bu varsayılan ayar görünürlüğünüze mal olur. AI arama sonuçları, gerçek ve giderek büyüyen bir yönlendirme kaynağıdır. AI sistemlerinin okuyamadığı bir site bu yanıtlarda görünmez, yani bu trafiği elde edemez.
Onları engellemek isterseniz, kontrol tam burada. Biz sadece bu kararı size söylemeden sizin yerinize vermeyiz.
Her Grup İçin Karar Vermek
Arama motorları. Site gerçekten özelse izinli bırakın; bu durumda zaten şifre koruması doğru araçtır. Bkz. Bir Siteyi Şifreyle Koruma.
AI arama ve yanıt motorları. Bu sayfadaki asıl karar budur.
Neredeyse her ticari site, yayıncı ve hizmet işletmesi için geçerli olan durum olan, AI yanıtlarından trafik ve atıf istiyorsanız bunlara izin verin.
İçeriğiniz ürününüzse ve özetlenmesi ziyaret etme nedenini ortadan kaldırıyorsa, içeriğin nasıl yeniden kullanılabileceğine dair sözleşmesel veya lisans kısıtlamalarınız varsa, ya da AI eğitimi konusunda bilinçli bir editoryal tercih yaptıysanız bunları engellemeyi düşünün.
Bu takas konusunda dürüst olun. Engellemek, sitenizin AI tarafından üretilen arama genel bakışlarından ve yanıtlarından kaybolması demektir; bu teorik bir risk değil, ölçülebilir bir trafik kaybıdır.
SEO ve analitik araçları. Engellemesi en savunulabilir grup. Size doğrudan hiçbir şey sağlamazlar: başkalarının sitenizi denetlemesine izin verirler ve büyük bir sitede gerçek bir tarama yükü ekleyebilirler. Bunları engellemek, sitenizin rakiplerin araştırma araçlarında daha az görünür olması anlamına gelir; bazıları bunu bir özellik olarak görür. Bedeli ise kendi SEO araçlarınızın da siteniz hakkında veri kaybedebilmesidir.
Sosyal medya ve önizleme. Bağlantı önizgelerini hiç istemiyorsanız dışında izinli bırakın. Bunları engellemek, sitenize sosyal platformlarda ve sohbet uygulamalarında paylaşılan bağlantıların başlık, açıklama veya görsel olmadan çıplak URL'ler olarak görünmesi demektir; bu da tıklama oranını ölçülebilir şekilde azaltır.
Tüm AI Crawler'ları Tek Seferde Engelleme
Sayfanın altında bir tehlike bölgesi kartı vardır: Tüm AI crawler'ları engelle. Bu, AI grubundaki her crawler için tek bir işlemle yasaklama kuralları ekler.
Tıklandığında önce onay istenir ve onay, sonucu açıkça belirtir: siteniz AI arama genel bakışlarından kaybolacak ve bu gerçek bir trafik kaybına mal olacaktır.
Bu bir trafik kararıdır, bir güvenlik kararı değil. AI crawler'ları engellemek, içeriğinizin kopyalanmasına karşı koruma sağlamaz: herkes sayfalarınızı yine okuyabilir ve kötü niyetli bir aktör zaten robots.txt'e hiçbir zaman uymayacaktı. Bunun güvenilir şekilde yaptığı tek şey, sizi AI tarafından üretilen yanıtlardan kaldırmaktır. İstediğiniz takasın bu olduğundan emin olun.
Bu işlem geri alınabilir. AI grubunu tekrar açın, bir sonraki kayıtta yasaklama kuralları kaldırılır. Sonrasında tekrar dizine girmek zaman alır.
Bunu Kim Değiştirebilir
Crawler ayarlarını değiştirmek, site yazma izni gerektirir. Salt okunur bir rolde anahtarlar devre dışıdır ve birinin üzerine gelmek nedenini açıklar. Değişikliği yapması için bir hesap sahibinden isteyin veya rolünüzü ayarlayın.
Sorun Giderme
Bir grubu engelledim ama crawler hâlâ ziyaret ediyor. İyi davranan crawler'lar robots.txt'yı her istekten önce değil, periyodik olarak yeniden okur, bu yüzden zaman tanıyın. Hiç durmuyorsa, crawler dosyaya uymuyordur ve bunun yerine bir erişim kontrolüne ihtiyacınız vardır. Bkz. Site Güvenliği.
Engellemeden sonra sayfalarım hâlâ arama sonuçlarında. Engelleme gelecekteki taramaları durdurur. Mevcut dizin girişleri zamanla geçerliliğini yitirir. İçeriği hızlıca kaldırmak için arama motorunun kendi kaldırma aracını kullanın.
Bağlantı önizlemeleri çalışmayı durdurdu. Sosyal grup engellenmiştir. Tekrar açın.
SEO aracımda sitem için veri yok. SEO grubu engellenmiştir, bu da herkesinki gibi sizin araçlarınızı da etkiler.
Burada bir şey değiştirdikten sonra trafik düştü. Hangi grupların engellendiğini kontrol edin. Arama veya AI kapalıysa, bunun nedeni budur ve tekrar açmak iyileşmeyi başlatır.
Önemsediğim bir crawler listede yok. Gruplar başlıca isimlendirilmiş crawler'ları kapsar. Listede olmayan her şey, dosyanın başındaki genel izin kuralı kapsamına girer ve bu anahtarlarla engellenmez.
Sitem hiç dizine eklenmiyor ve burada her şey izinli. Başka bir şey onu engelliyor. Tüm site şifre korumasının açık olup olmadığını, ülke filtrelemesinin crawler'ın bölgesini engelleyip engellemediğini veya sitenin kendi alan adınız yerine paylaşılan bir adreste olup olmadığını kontrol edin.
İlgili Sayfalar
- Site Trafik Analitiği, crawler trafiğinin isteklerde ve bant genişliğinde size gerçekte neye mal olduğunu görmek için.
- Site Güvenliği, IP engelleme ve diğer gerçek erişim kontrolleri için.
- Bir Site İçin Ülke Engelleme, coğrafyaya dayalı filtreleme için.
- Bir Siteyi Şifreyle Koruma, crawler'lar dahil her şeyden bir siteyi gizlemek için.