# التحكم في روبوتات الزحف للذكاء الاصطناعي ومحركات البحث

Source: https://support.kapsulehost.com/ar-ae/site-crawlers

علامة التبويب "Crawlers" تتحكم في الزوار الآليين المسموح لهم بفهرسة موقعك، وهم مجمّعون في محركات البحث، ومحركات الإجابة بالذكاء الاصطناعي، وأدوات تحسين محركات البحث (SEO)، وروبوتات معاينة التواصل الاجتماعي. يشرح هذا الدليل ما تفعله كل مجموعة، وما تسمح به KapsuleHost افتراضيًا، وما الذي يكلفك إياه الحظر فعليًا.

## أين تقع إعدادات الزاحفات في KPanel

1. سجّل الدخول إلى [KPanel](https://kpanel.kapsulehost.com).
2. انقر على **المواقع** في الشريط الجانبي الأيسر، ثم انقر على الموقع.
3. في القائمة اليسرى للموقع، افتح **الأداء**، ثم **محركات الزحف**.

العنوان المباشر هو `/websites/<site-id>/crawlers`.

![صفحة Crawlers لموقع في KPanel، مع عناصر التحكم في زاحفات الذكاء الاصطناعي وروبوتات البحث](https://support.kapsulehost.com/help/screenshots/site-crawlers.e60d4ece.webp)

## ما الذي تغيّره هذه الصفحة فعليًا

تبديل مجموعة ما يعيد كتابة ملف `robots.txt` الخاص بموقعك. هذا الملف هو طلب منشور موجّه إلى الزوار الآليين الملتزمين بالسلوك الجيد، والزاحفات الكبرى تحترمه.

ينتج عن ذلك نتيجتان، وكلاهما مهمة.

**إنه طلب، لا جدار.** الزاحف الذي يتجاهل `robots.txt` لا يتأثر بأي شيء في هذه الصفحة. إذا كانت مشكلتك تتعلق باستخلاص بيانات (scraping) من جهة لا تُعرّف عن نفسها بصدق، فهذه ليست الأداة المناسبة: استخدم بدلًا من ذلك قائمة حظر عناوين IP أو تصفية الدول في صفحة **الأمان** الخاصة بالموقع. راجع [أمان الموقع](https://support.kapsulehost.com/ar-ae/site-security) و[حظر الدول لموقع](https://support.kapsulehost.com/ar-ae/site-geo-blocking).

**إنها تتحكم في الزحف، لا في ما هو مفهرس بالفعل.** حظر زاحف ما يوقف عمليات الجلب المستقبلية. المحتوى المفهرس مسبقًا يسقط من الفهرس عادة بمرور الوقت، لكن ليس فورًا.

تُحفظ التغييرات فور تبديل المفتاح. تعرض الصفحة **Saving**، ثم **Saved, robots.txt updated**.

## المجموعات الأربع

**محركات البحث.** الزاحفات التقليدية وراء نتائج البحث العادية: Googlebot وBingbot وDuckDuckBot وApplebot وYandexBot.

**محركات البحث والإجابة بالذكاء الاصطناعي.** زاحفات للأنظمة التي تُدرج محتواك ضمن الإجابات المولّدة بالذكاء الاصطناعي وملخصات البحث: GPTBot وOAI-SearchBot من OpenAI، وClaudeBot وanthropic-ai من Anthropic، وPerplexityBot وGoogle-Extended وCohere وMeta وDiffbot.

**أدوات تحسين محركات البحث والتحليلات.** زاحفات من منصات تُستخدم لتدقيق المواقع: AhrefsBot وSemrushBot وMJ12bot وDotBot وBaiduspider.

**وسائل التواصل الاجتماعي والمعاينة.** زاحفات تجلب بطاقة معاينة عندما يشارك أحدهم رابطًا: Twitterbot، وأداة جلب المعاينة الخاصة بفيسبوك، وLinkedInBot وSlackbot وDiscordbot.

تسرد كل بطاقة مجموعة جميع الزاحفات الموجودة فيها، مع مالكها، لتتمكن من معرفة ما يشمله التبديل بالضبط قبل تفعيله.

## الإعداد الافتراضي لـ KapsuleHost: زاحفات الذكاء الاصطناعي مسموح بها

كل مجموعة مسموح بها افتراضيًا، بما في ذلك زاحفات الذكاء الاصطناعي، وهذا موقف متعمّد وليس إغفالًا.

عدد من مزوّدي الاستضافة يحظرون زاحفات الذكاء الاصطناعي بصمت نيابة عن عملائهم. نحن لا نفعل ذلك، لأن الأمر يتعلق بحركة المرور الخاصة بك وقرارك، ولأن الوضع الافتراضي يكلفك ظهورًا. نتائج البحث بالذكاء الاصطناعي مصدر حقيقي ومتنامٍ للإحالات. الموقع الذي لا يمكن لأنظمة الذكاء الاصطناعي قراءته لا يظهر في تلك الإجابات، وهذا يعني أنه لا يحصل على تلك الحركة.

إذا أردت حظرها، فالتحكم موجود هنا مباشرة. نحن فقط لن نتخذ ذلك القرار نيابة عنك دون إخبارك.

## اتخاذ القرار لكل مجموعة

**محركات البحث.** اتركها مسموحة ما لم يكن الموقع خاصًا فعلًا، وفي تلك الحالة تكون الحماية بكلمة مرور هي الأداة الصحيحة على أي حال. راجع [حماية موقع بكلمة مرور](https://support.kapsulehost.com/ar-ae/site-password-protect).

**محركات البحث والإجابة بالذكاء الاصطناعي.** هذا هو القرار الحقيقي في هذه الصفحة.

اسمح بها إذا أردت حركة مرور واستشهادات من إجابات الذكاء الاصطناعي، وهذا هو الحال بالنسبة لمعظم المواقع التجارية والناشرين وأعمال الخدمات.

فكّر في حظرها إذا كان محتواك هو منتجك وكان تلخيصه يُلغي سبب الزيارة، أو إذا كانت لديك قيود تعاقدية أو تراخيص على كيفية إعادة استخدام المحتوى، أو إذا اتخذت قرارًا تحريريًا متعمدًا بشأن تدريب الذكاء الاصطناعي.

كن صريحًا بشأن المقايضة. الحظر يعني اختفاء موقعك من ملخصات البحث والإجابات المولّدة بالذكاء الاصطناعي، وهذه حركة مرور مفقودة يمكن قياسها، وليست خطرًا نظريًا.

**أدوات تحسين محركات البحث والتحليلات.** أكثر مجموعة يمكن تبرير حظرها. فهي لا تقدم لك شيئًا مباشرة: إنها تتيح لأشخاص آخرين تدقيق موقعك، ويمكن أن تضيف حمل زحف حقيقي على موقع كبير. حظرها يعني أن موقعك أقل ظهورًا في أدوات بحث المنافسين، وهو ما يعتبره البعض ميزة. التكلفة هي أن أدوات تحسين محركات البحث الخاصة بك قد تفقد هي الأخرى بيانات عن موقعك.

**وسائل التواصل الاجتماعي والمعاينة.** اتركها مسموحة ما لم تكن لا تريد أبدًا معاينات الروابط. حظر هذه المجموعة يعني أن الروابط المؤدية إلى موقعك عند مشاركتها على منصات التواصل الاجتماعي وتطبيقات الدردشة ستظهر كعناوين URL عارية بلا عنوان أو وصف أو صورة، وهذا يقلل من نسبة النقر إلى الظهور بشكل ملموس.

## حظر جميع زاحفات الذكاء الاصطناعي دفعة واحدة

في أسفل الصفحة توجد بطاقة منطقة خطرة بعنوان **حجب جميع زاحفات الذكاء الاصطناعي**. تضيف قواعد منع لكل زاحف في مجموعة الذكاء الاصطناعي بإجراء واحد.

النقر عليها يطلب التأكيد أولًا، والتأكيد يوضح النتيجة بصراحة: سيختفي موقعك من ملخصات البحث بالذكاء الاصطناعي، وهذا يكلّف حركة مرور حقيقية.

> **Warning:** هذا قرار متعلق بحركة المرور، لا بالأمان. حظر زاحفات الذكاء الاصطناعي لا يحمي محتواك من النسخ: لا يزال بإمكان أي شخص قراءة صفحاتك، والجهة سيئة النية لم تكن لتحترم `robots.txt` أصلًا. ما يفعله هذا الإجراء بشكل موثوق هو إزالتك من الإجابات المولّدة بالذكاء الاصطناعي. تأكد أن هذه هي المقايضة التي تريدها.

الإجراء قابل للتراجع. أعد تفعيل مجموعة الذكاء الاصطناعي وستُزال قواعد المنع عند الحفظ التالي. العودة إلى الفهرس بعد ذلك تستغرق وقتًا.

## من يمكنه تغيير هذا

تغيير إعدادات الزاحفات يتطلب صلاحية الكتابة على الموقع. مع دور القراءة فقط تكون المفاتيح معطّلة، ويوضح التمرير فوقها السبب. اطلب من مالك الحساب إجراء التغيير أو عدّل دورك.

## استكشاف الأخطاء وإصلاحها

**حظرت مجموعة لكن الزاحف ما زال يزور موقعي.** الزاحفات الملتزمة بالسلوك الجيد تعيد قراءة `robots.txt` بشكل دوري وليس قبل كل طلب، لذا امنح الأمر بعض الوقت. إذا لم يتوقف أبدًا، فإن الزاحف لا يحترم الملف وتحتاج إلى عنصر تحكم بالوصول بدلًا من ذلك. راجع [أمان الموقع](https://support.kapsulehost.com/ar-ae/site-security).

**صفحاتي لا تزال في نتائج البحث بعد الحظر.** الحظر يوقف الزحف المستقبلي. مدخلات الفهرسة الموجودة تنتهي صلاحيتها بمرور الوقت. لإزالة المحتوى بسرعة، استخدم أداة الإزالة الخاصة بمحرك البحث نفسه.

**توقفت معاينات الروابط عن العمل.** مجموعة التواصل الاجتماعي محظورة. أعد تفعيلها.

**أداة تحسين محركات البحث الخاصة بي لا تملك بيانات عن موقعي.** مجموعة تحسين محركات البحث محظورة، وهذا يؤثر على أدواتك كما يؤثر على أدوات الجميع الآخرين.

**انخفضت حركة المرور بعد أن غيّرت شيئًا هنا.** تحقق من المجموعات المحظورة. إذا كانت مجموعة البحث أو الذكاء الاصطناعي معطّلة، فهذا هو السبب، وإعادة تفعيلها يبدأ التعافي.

**زاحف أهتم به غير مدرج في القائمة.** المجموعات تغطي الزاحفات الكبرى المسمّاة. أي شيء غير مدرج يخضع لقاعدة السماح العامة في أعلى الملف ولا يتأثر بهذه المفاتيح.

**موقعي لا يُفهرس إطلاقًا مع أن كل شيء هنا مسموح به.** شيء آخر يحجبه. تحقق مما إذا كانت الحماية بكلمة مرور مفعّلة على كامل الموقع، أو ما إذا كانت تصفية الدول تحجب منطقة الزاحف، أو ما إذا كان الموقع على عنوان مشترك بدلًا من نطاقك الخاص.

## صفحات ذات صلة

- [تحليلات حركة مرور الموقع](https://support.kapsulehost.com/ar-ae/site-analytics) لمعرفة ما تكلفك إياه حركة مرور الزاحفات فعليًا من حيث الطلبات والنطاق الترددي.
- [أمان الموقع](https://support.kapsulehost.com/ar-ae/site-security) لحظر عناوين IP وعناصر التحكم الحقيقية الأخرى في الوصول.
- [حظر الدول لموقع](https://support.kapsulehost.com/ar-ae/site-geo-blocking) للتصفية المبنية على الموقع الجغرافي.
- [حماية موقع بكلمة مرور](https://support.kapsulehost.com/ar-ae/site-password-protect) لإخفاء موقع عن كل شيء، بما في ذلك الزاحفات.