زواحف الذكاء الاصطناعي: هل يحجبها موقعك؟

زواحف الذكاء الاصطناعي برامج آلية ترسلها شركات مثل OpenAI وPerplexity وAnthropic وGoogle لتقرأ صفحات الويب. بعضها يبني فهرسًا يبحث فيه المساعد عندما يجيب عن سؤال، وبعضها يجلب صفحة محددة طلبها مستخدم، وبعضها يجمع نصوصًا قد تُستخدم في تدريب نماذج مستقبلية.

يهمّك هذا لسبب بسيط: إن لم يستطع الزاحف قراءة صفحتك، فلن يستشهد بها المحرك. قد تكون صفحتك الأفضل في قطاعك، لكنها غائبة عن إجابات ChatGPT وPerplexity لأن الباب مغلق أمام الزاحف.

والمشكلة أن هذا الحجب صامت. لا يصلك تنبيه، ولا يظهر خطأ في لوحة التحكم، ولا تنخفض زيارات Google لأن Googlebot ما زال يدخل. كل ما تلاحظه أن منافسيك يُذكرون في إجابات الذكاء الاصطناعي وأنت لا، دون سبب واضح. لهذا يستحق الأمر مراجعة تقنية مرة واحدة على الأقل، ثم مراجعة بعد كل تغيير في الاستضافة أو الحماية.

زواحف البحث تجعل صفحاتك مصدرًا في الإجابات اليوم، وزواحف التدريب تؤثر في ما تعرفه النماذج القادمة عنك. لذلك يمكنك أن تقرّر لكل نوع على حدة.

المصادر: وثائق OpenAI وPerplexity وGoogle. تتغير هذه القوائم من وقت لآخر، فراجعها مرة كل ربع سنة.

اكتب قاعدة واضحة لكل زاحف بحث تريد السماح له، ثم قرّر بشأن زواحف التدريب. يتبع ملف robots.txt معيارًا منشورًا (RFC 9309)، وتقول الشركات الكبرى إن زواحفها الموثّقة تحترمه. هذا مثال لموقع يسمح بزواحف البحث ويمنع التدريب:

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

ويمكنك أن تسمح بالموقع كله وتستثني المسارات الخاصة فقط، مثل صفحات الحساب والدفع، حتى لا تضيع الزواحف وقتها فيها:

# زواحف البحث: كل الصفحات العامة، عدا الحساب والدفع
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
Disallow: /account/
Disallow: /checkout/

تأكد أن المسار العربي، مثل /ar/، ليس ضمن أي قاعدة منع.

قرار التدريب قرار تجاري. منع التدريب يحمي محتواك من الاستخدام في النماذج، لكنه قد يقلّل ما تعرفه النماذج القادمة عن علامتك. كثير من العلامات التجارية تسمح بالاثنين لأن هدفها أن تُعرف وتُذكر، بينما تمنع المواقع الإخبارية والناشرون التدريب غالبًا.

تُحجب الزواحف في مواقع كثيرة في الخليج لأسباب لا علاقة لها بملف robots.txt. أكثرها شيوعًا:

• الحظر الجغرافي: بعض المواقع تسمح بالزيارات من دول الخليج فقط، لأسباب أمنية أو لأن المتجر لا يشحن خارجها. لكن زواحف الذكاء الاصطناعي تأتي غالبًا من خوادم في الولايات المتحدة أو أوروبا، فتُرفض قبل أن تقرأ أي شيء.
• حماية CDN والجدار الناري: خيارات مثل "حظر روبوتات الذكاء الاصطناعي" أو أوضاع مكافحة الروبوتات ترفض الزواحف بخطأ 403، حتى لو كان robots.txt يسمح لها.
• صفحات تحتاج إلى JavaScript: إن كان المحتوى لا يظهر إلا بعد تشغيل JavaScript، فقد يرى الزاحف صفحة شبه فارغة.
• نطاقات منفصلة لكل بلد: لكل نطاق مثل .sa و.ae ملف robots.txt خاص به. كثيرًا ما يُحدَّث ملف نطاق واحد ويُنسى الآخر.
• إعدادات قديمة: قواعد كُتبت قبل سنوات لمنع "كل الروبوتات غير المعروفة"، وتشمل الآن زواحف البحث الجديدة.

تعرف ذلك من ثلاثة أماكن، لا من مكان واحد:

1. ملف robots.txt: افتح /robots.txt لكل نطاق ونسخة لغة، وابحث عن أي Disallow يشمل زواحف البحث، أو عن قاعدة عامة User-agent: * تمنع الكل.
2. سجلات CDN والجدار الناري: ابحث عن أسماء الزواحف في سجلات الطلبات المرفوضة. إن رأيت OAI-SearchBot أو PerplexityBot مع رمز 403، فالحجب من هنا.
3. سجلات الخادم: هل تزورك هذه الزواحف أصلًا؟ وكم مرة؟ غياب الزيارات تمامًا قد يعني أن الحجب يحدث قبل الخادم.

ثم تحقق من النتيجة: اطرح أسئلة عملائك في ChatGPT وPerplexity وانظر هل تظهر صفحاتك كمصادر. يعطيك الفحص المجاني للظهور صورة أولى خلال دقيقة.

اسمح للزواحف الموثّقة فقط، وتحقّق منها بعناوين IP لا بالاسم وحده. أي برنامج يستطيع أن يدّعي أنه GPTBot، لذلك تنشر الشركات الكبرى نطاقات عناوين IP لزواحفها في صفحات الوثائق المذكورة أعلاه. معظم مزوّدي CDN يتحققون من ذلك تلقائيًا ويصنّفون الزيارة كروبوت موثّق.

خطوات عملية لفريق التقنية:

• أضف استثناءً من الحظر الجغرافي للروبوتات الموثّقة فقط، لا لكل الزيارات من الخارج.
• أوقف خيار "حظر روبوتات الذكاء الاصطناعي" العام، وحدّد بدلًا منه أي زواحف تُسمح وأيها تُمنع.
• تأكد أن الصفحات المهمة تعرض نصّها في HTML من الخادم: صفحات المنتجات، والأسعار، والمقارنات، والأسئلة الشائعة.
• راجع الإعدادات بعد كل تغيير في CDN أو الاستضافة، فالتحديثات تعيد أحيانًا الإعدادات الافتراضية.

ملف llms.txt مقترح لملف نصي يلخّص محتوى الموقع لنماذج اللغة، نشره Jeremy Howard في 2024 (Answer.AI). هو مقترح وليس معيارًا، ولا يحل محل robots.txt. ملف robots.txt يحدد من يدخل، أما llms.txt فيحاول أن يقول للنموذج ما المهم بعد أن يدخل.

إضافته سهلة ولا تضر، لكن لا تتوقع منه أن يعوّض صفحة محجوبة أو محتوى لا يظهر في HTML. رتّب أولوياتك هكذا:

1. افتح الباب لزواحف البحث في robots.txt وفي CDN.
2. اجعل المحتوى المهم نصًا واضحًا في HTML.
3. بعدها، أضف llms.txt إن أردت، بروابط لأهم صفحاتك بالعربية والإنجليزية.

راجع النسخة العربية بالدقة نفسها التي تراجع بها الإنجليزية. في مواقع كثيرة تكون الصفحات العربية في مسار منفصل مثل /ar/، أو على نطاق فرعي، وقد تخضع لقواعد مختلفة دون قصد: قاعدة Disallow قديمة لمسار كان قيد التجربة، أو صفحات عربية تُحمَّل بالكامل عبر JavaScript بينما الإنجليزية لا. وبما أن الإجابات العربية تعتمد غالبًا على مصادر عربية، فإن حجب نسختك العربية يعني غيابك عن جمهورك الأساسي في الخليج.

لن تظهر في الإجابات في اليوم التالي. تحتاج الزواحف إلى وقت لتزور صفحاتك وتفهرسها، ثم يعتمد الاستشهاد بك على جودة الصفحة نفسها ومقارنتها بالمصادر الأخرى. فتح الباب شرط ضروري، لكنه لا يكفي وحده.

راقب بعدها أمرين: هل بدأت الزواحف تزورك في سجلات الخادم؟ وهل بدأت صفحاتك تظهر كمصادر في الإجابات؟ للأمر الثاني، يكشف تتبّع الاستشهادات الصفحات التي يستشهد بها كل محرك في أسئلة عملائك. وإن بدأت الزيارات تصل، فقِسها في GA4 كما شرحنا في زيارات ChatGPT في GA4.

زواحف الذكاء الاصطناعي هي الطريق الذي تصل به محركات مثل ChatGPT وPerplexity إلى صفحاتك. اسمح لزواحف البحث، وقرّر بشأن زواحف التدريب، ثم تحقق من الحظر الجغرافي وإعدادات CDN، لأنها السبب الأكثر شيوعًا للحجب في مواقع الخليج. بعدها تابع هل بدأت المحركات تستشهد بك فعلًا، وما المصادر التي تعتمد عليها بدلًا منك، كما في من أين يأخذ الذكاء الاصطناعي معلوماته عن علامتك.