Crawlers टैब नियंत्रित करता है कि कौन से स्वचालित विज़िटर आपकी साइट को इंडेक्स करने की अनुमति रखते हैं, जिन्हें सर्च इंजन, AI आंसर इंजन, SEO टूल्स, और सोशल प्रीव्यू बॉट्स में बांटा गया है। यह गाइड समझाती है कि हर समूह क्या करता है, KapsuleHost डिफ़ॉल्ट रूप से क्या अनुमति देता है, और ब्लॉक करने की वास्तविक कीमत क्या है।
KPanel में Crawler सेटिंग्स कहाँ मिलती हैं
- KPanel में साइन इन करें।
- बाईं साइडबार में वेबसाइटें पर क्लिक करें, फिर साइट पर क्लिक करें।
- साइट के बाएं मेनू में, प्रदर्शन खोलें, फिर क्रॉलर।
सीधा पता /websites/<site-id>/crawlers है।
यह पेज वास्तव में क्या बदलता है
किसी समूह को टॉगल करना आपकी साइट की robots.txt फाइल को फिर से लिखता है। वह फाइल अच्छे व्यवहार वाले स्वचालित विज़िटरों के लिए एक प्रकाशित अनुरोध है, और प्रमुख क्रॉलर इसका सम्मान करते हैं।
इसके दो परिणाम होते हैं, और दोनों मायने रखते हैं।
यह एक अनुरोध है, दीवार नहीं। जो क्रॉलर robots.txt को नज़रअंदाज़ करता है, वह इस पेज पर किसी भी चीज़ से अप्रभावित रहता है। यदि आपकी समस्या किसी ऐसी चीज़ द्वारा स्क्रैपिंग है जो ईमानदारी से खुद की पहचान नहीं बताती, तो यह गलत उपकरण है: इसके बजाय साइट के सुरक्षा पेज पर IP ब्लॉक लिस्ट या देश फ़िल्टरिंग का उपयोग करें। देखें Site Security और Country Blocking for a Site।
यह क्रॉलिंग को नियंत्रित करता है, पहले से इंडेक्स हुई चीज़ को नहीं। किसी क्रॉलर को ब्लॉक करने से भविष्य की फ़ेच रुक जाती हैं। जो सामग्री पहले से इंडेक्स में है वह आमतौर पर समय के साथ हट जाती है, लेकिन तुरंत नहीं।
स्विच टॉगल करते ही बदलाव सहेज लिए जाते हैं। पेज Saving दिखाता है, फिर Saved, robots.txt updated।
चार समूह
सर्च इंजन। सामान्य सर्च परिणामों के पीछे पारंपरिक क्रॉलर: Googlebot, Bingbot, DuckDuckBot, Applebot, और YandexBot।
AI सर्च और आंसर इंजन। उन सिस्टम के लिए क्रॉलर जो आपकी सामग्री को AI-जनित उत्तरों और सर्च ओवरव्यू में शामिल करते हैं: OpenAI से GPTBot और OAI-SearchBot, Anthropic से ClaudeBot और anthropic-ai, PerplexityBot, Google-Extended, Cohere, Meta, और Diffbot।
SEO और एनालिटिक्स टूल्स। साइट ऑडिट करने वाले प्लेटफ़ॉर्म से क्रॉलर: AhrefsBot, SemrushBot, MJ12bot, DotBot, और Baiduspider।
सोशल मीडिया और प्रीव्यू। जब कोई लिंक शेयर करता है तो प्रीव्यू कार्ड लाने वाले क्रॉलर: Twitterbot, Facebook प्रीव्यू फ़ेचर, LinkedInBot, Slackbot, और Discordbot।
हर समूह कार्ड में उसके मालिक के साथ उस समूह का हर क्रॉलर सूचीबद्ध होता है, ताकि आप टॉगल पलटने से पहले देख सकें कि वह बिल्कुल क्या कवर करता है।
KapsuleHost का डिफ़ॉल्ट: AI क्रॉलर की अनुमति है
हर समूह डिफ़ॉल्ट रूप से अनुमति प्राप्त है, जिसमें AI क्रॉलर भी शामिल हैं, और यह एक जानबूझकर लिया गया रुख है, न कि कोई चूक।
कई होस्ट अपने ग्राहकों की ओर से चुपचाप AI क्रॉलर को ब्लॉक कर देते हैं। हम ऐसा नहीं करते, क्योंकि यह आपका ट्रैफ़िक है और आपका निर्णय है, और क्योंकि यह डिफ़ॉल्ट आपकी दृश्यता की कीमत पर आता है। AI सर्च परिणाम रेफ़रल का एक वास्तविक और बढ़ता हुआ स्रोत हैं। जिस साइट को AI सिस्टम पढ़ नहीं सकते, वह उन उत्तरों में नहीं दिखती, जिसका अर्थ है कि उसे वह ट्रैफ़िक नहीं मिलता।
यदि आप उन्हें ब्लॉक करना चाहते हैं, तो नियंत्रण यहीं है। हम बस आपको बताए बिना यह चुनाव आपके लिए नहीं करेंगे।
हर समूह के लिए निर्णय लेना
सर्च इंजन। अनुमति दी हुई छोड़ दें, जब तक कि साइट वास्तव में निजी न हो, ऐसी स्थिति में पासवर्ड सुरक्षा वैसे भी सही उपकरण है। देखें Password-Protecting a Site।
AI सर्च और आंसर इंजन। यह पेज पर असली निर्णय है।
यदि आप AI उत्तरों से ट्रैफ़िक और उद्धरण चाहते हैं, तो इन्हें अनुमति दें, जो लगभग हर वाणिज्यिक साइट, प्रकाशक, और सेवा व्यवसाय के लिए मामला है।
इन्हें ब्लॉक करने पर विचार करें यदि आपकी सामग्री ही आपका उत्पाद है और सारांशित किए जाने से आने का कारण ही खत्म हो जाता है, यदि सामग्री के पुनः उपयोग के तरीके पर आपकी अनुबंधित या लाइसेंसिंग पाबंदियां हैं, या यदि आपने AI प्रशिक्षण के बारे में जानबूझकर संपादकीय निर्णय लिया है।
इस समझौते के बारे में ईमानदार रहें। ब्लॉक करने का मतलब है कि आपकी साइट AI-जनित सर्च ओवरव्यू और उत्तरों से गायब हो जाती है, और यह मापने योग्य खोया हुआ ट्रैफ़िक है, कोई काल्पनिक जोखिम नहीं।
SEO और एनालिटिक्स टूल्स। ब्लॉक करने के लिए सबसे उचित ठहराया जा सकने वाला समूह। ये आपको सीधे कुछ नहीं देते: ये दूसरे लोगों को आपकी साइट का ऑडिट करने देते हैं, और बड़ी साइट पर वास्तविक क्रॉल लोड जोड़ सकते हैं। इन्हें ब्लॉक करने का मतलब है कि प्रतिस्पर्धियों के रिसर्च टूल्स में आपकी साइट कम दिखती है, जिसे कुछ लोग एक फ़ायदा मानते हैं। कीमत यह है कि आपका खुद का SEO टूलिंग भी आपकी साइट के बारे में डेटा खो सकता है।
सोशल मीडिया और प्रीव्यू। अनुमति दी हुई छोड़ दें, जब तक कि आप कभी लिंक प्रीव्यू न चाहें। इन्हें ब्लॉक करने का मतलब है कि सोशल प्लेटफ़ॉर्म और चैट ऐप्स पर शेयर किए गए आपकी साइट के लिंक बिना शीर्षक, विवरण, या छवि के नंगे URL के रूप में दिखते हैं, जो क्लिक-थ्रू को मापने योग्य रूप से कम करता है।
एक साथ सभी AI क्रॉलर को ब्लॉक करना
पेज के नीचे एक डेंजर-ज़ोन कार्ड है, सभी AI crawlers को ब्लॉक करें। यह एक ही क्रिया में AI समूह के हर क्रॉलर के लिए disallow नियम जोड़ता है।
इस पर क्लिक करने पर पहले पुष्टि माँगी जाती है, और पुष्टि परिणाम को स्पष्ट रूप से बताती है: आपकी साइट AI सर्च ओवरव्यू से गायब हो जाएगी, और इसकी कीमत वास्तविक ट्रैफ़िक है।
यह एक ट्रैफ़िक निर्णय है, सुरक्षा का नहीं। AI क्रॉलर को ब्लॉक करना आपकी सामग्री को कॉपी होने से नहीं बचाता: कोई भी अब भी आपके पेज पढ़ सकता है, और कोई बुरा इरादा रखने वाला व्यक्ति शुरू से ही robots.txt का सम्मान करने वाला नहीं था। यह जो भरोसेमंद ढंग से करता है, वह है आपको AI-जनित उत्तरों से हटाना। सुनिश्चित करें कि यही वह समझौता है जो आप चाहते हैं।
यह क्रिया पलटी जा सकती है। AI समूह को वापस चालू कर दें और अगली बार सहेजने पर disallow नियम हटा दिए जाते हैं। बाद में फिर से इंडेक्स में वापस आने में समय लगता है।
इसे कौन बदल सकता है
Crawler सेटिंग्स बदलने के लिए साइट की राइट परमिशन चाहिए। रीड-ओनली भूमिका के साथ स्विच अक्षम रहते हैं, और उन पर होवर करने से कारण पता चलता है। किसी खाता मालिक से बदलाव करने के लिए कहें या अपनी भूमिका समायोजित करवाएं।
समस्या निवारण
मैंने एक समूह ब्लॉक किया पर क्रॉलर अभी भी आ रहा है। अच्छे व्यवहार वाले क्रॉलर robots.txt को हर अनुरोध से पहले के बजाय समय-समय पर फिर से पढ़ते हैं, इसलिए इसे समय दें। यदि यह कभी नहीं रुकता, तो क्रॉलर उस फाइल का सम्मान नहीं कर रहा और आपको इसके बजाय एक्सेस कंट्रोल की आवश्यकता है। देखें Site Security।
ब्लॉक करने के बाद भी मेरे पेज सर्च परिणामों में हैं। ब्लॉक करने से भविष्य की क्रॉलिंग रुक जाती है। मौजूदा इंडेक्स प्रविष्टियां समय के साथ समाप्त हो जाती हैं। सामग्री को जल्दी हटाने के लिए, सर्च इंजन के अपने हटाने वाले टूल का उपयोग करें।
लिंक प्रीव्यू काम करना बंद हो गए। सोशल समूह ब्लॉक है। इसे वापस चालू करें।
मेरे SEO टूल के पास मेरी साइट के लिए कोई डेटा नहीं है। SEO समूह ब्लॉक है, जो आपके टूल्स को भी उतना ही प्रभावित करता है जितना दूसरों के टूल्स को।
यहाँ कुछ बदलने के बाद ट्रैफ़िक गिर गया। जांचें कि कौन से समूह ब्लॉक हैं। यदि सर्च या AI बंद है, तो यही कारण है, और इसे वापस चालू करने से रिकवरी शुरू होती है।
मुझे चिंता वाला कोई क्रॉलर सूचीबद्ध नहीं है। समूह प्रमुख नामित क्रॉलरों को कवर करते हैं। जो कुछ भी सूचीबद्ध नहीं है वह फाइल के शीर्ष पर दिए गए सामान्य allow नियम के अंतर्गत आता है और इन टॉगलों द्वारा ब्लॉक नहीं होता।
मेरी साइट बिल्कुल भी इंडेक्स नहीं हो रही और यहाँ सब कुछ अनुमति प्राप्त है। कुछ और इसे ब्लॉक कर रहा है। जांचें कि क्या पूरी साइट पर पासवर्ड सुरक्षा चालू है, क्या देश फ़िल्टरिंग क्रॉलर के क्षेत्र को ब्लॉक कर रही है, या क्या साइट आपके अपने डोमेन के बजाय किसी साझा पते पर है।
संबंधित पेज
- Site Traffic Analytics यह देखने के लिए कि क्रॉलर ट्रैफ़िक अनुरोधों और बैंडविड्थ में आपको वास्तव में क्या कीमत चुकाती है।
- Site Security IP ब्लॉकिंग और अन्य वास्तविक एक्सेस नियंत्रणों के लिए।
- Country Blocking for a Site भूगोल-आधारित फ़िल्टरिंग के लिए।
- Password-Protecting a Site साइट को हर चीज़ से छुपाने के लिए, क्रॉलर भी शामिल।