Cloudflare ستحظر زاحفي الويب ذوي الاستخدام المختلط افتراضيًا اعتبارًا من سبتمبر 2026

لقد وضعت Cloudflare للتو موعدًا نهائيًا حازمًا لصناعة الذكاء الاصطناعي: افصلوا زواحف الويب الخاصة بكم بحلول سبتمبر 2026. اعتبارًا من ذلك التاريخ، ستقوم الشركة بقلب مفتاح إعداداتها الافتراضية، مما يؤدي تلقائيًا إلى حظر أي زاحف يخلط بين فهرسة البحث وخدمات الوكيل والتدريب من الوصول إلى الصفحات التي تحمل إعلانات. جاء الإعلان يوم الأربعاء.

ما يعنيه ذلك عمليًا: ما لم يغير مالك الموقع إعداداته عمدًا، سيتم حظر هذه الروبوتات المختلطة الاستخدام افتراضيًا. تنطبق الإعدادات الافتراضية الجديدة على جميع عملاء Cloudflare الجدد، وأي مواقع جديدة يتم إنشاؤها بواسطة العملاء الحاليين، وجميع الحسابات المجانية الحالية.

قد يزعزع هذا القرار استقرار موفري نماذج الذكاء الاصطناعي الذين يعتمدون على كشط الويب المفتوح للحصول على بيانات التدريب وتشغيل الأدوات الوكيلة. تشير Cloudflare إلى أن معظم مالكي المواقع يرغبون في أن يتم العثور عليهم عبر البحث وحتى من خلال خدمات الذكاء الاصطناعي، لكنهم لا يريدون التخلي عن ملكيتهم الفكرية مجانًا.

توجه Cloudflare انتقادًا غير مباشر لشركة Google، أكبر محرك بحث في العالم، مشيرة إلى أن لديها إمكانية الوصول إلى "ضعف المعلومات تقريبًا" مقارنة بشركات الذكاء الاصطناعي الأخرى. والسبب، كما تجادل Cloudflare، هو أن Google تجعل من الصعب على العملاء البقاء قابلين للاكتشاف دون أن يتم استخدامهم أيضًا في الذكاء الاصطناعي.

وقد ردت Google على هذا التوصيف. تشير إلى روبوت يسمى Google Extended يسمح لمالكي المواقع بالانسحاب من استخدام محتواهم في تدريب الذكاء الاصطناعي أو منتجات مثل Gemini Apps وVertex API، دون التأثير على ترتيبهم في بحث Google. ومع ذلك، فإن روبوت Google الرئيسي، Googlebot، يقوم بالزحف للحصول على ميزات الذكاء الاصطناعي مثل AI Overviews وAI Mode.

وقال ماثيو برنس، المؤسس المشارك والرئيس التنفيذي لشركة Cloudflare: "الآن بعد أن أصبحت غالبية حركة المرور على الإنترنت غير بشرية، يجب علينا أن نذهب أبعد ونتصرف بشكل أسرع حتى يمكن أن ينشأ نظام بيئي مستدام"، مشيرًا إلى الإنجاز الأخير حيث تفوقت الروبوتات على البشر عبر الإنترنت لأول مرة، وهو تحول لم يكن متوقعًا حتى العام المقبل.

وأضاف برنس: "تمنح أدوات وشراكات Cloudflare الجديدة مالكي المواقع رؤية متزايدة وفرصًا تجارية وتفيد شركات الذكاء الاصطناعي التي لديها روبوتات بنية واضحة وشفافة. نأمل أن تشجع تغييراتنا الافتراضية المقترحة زاحفي الاستخدام المختلط على فصل البحث عن استخدام الوكيل والتدريب."

تقوم Cloudflare بتطوير مجموعة من الأدوات لمنح الناشرين رأيًا أكبر في عصر الذكاء الاصطناعي. في العام الماضي، أطلقت سوقًا حيث يمكن للمواقع أن تفرض رسومًا على روبوتات الذكاء الاصطناعي مقابل الكشط، يسمى Pay Per Crawl. تتطور هذه المبادرة الآن إلى Pay Per Use، والتي تسمح للناشرين بتحصيل رسوم من شركات الذكاء الاصطناعي عندما يخلق محتواهم قيمة فعلية، وليس فقط عندما يتم جلبه.

يمكن أن يوفر التغيير أيضًا عرض النطاق الترددي والموارد الحاسوبية. تشير بيانات Cloudflare إلى أن أكثر من 50% من حركة الزحف من زواحف الذكاء الاصطناعي تُنفق على إعادة جلب الصفحات التي لم تتغير.

للبدء، تعمل Cloudflare مع شريكين: Ceramic.ai وYou.com. عندما يختار الناشر الاشتراك، يحصل على أجر عندما يظهر محتواه في نتائج بحث الذكاء الاصطناعي من Ceramic أو عندما يصل You.com إلى جزء من محتواه المتميز. تقول Cloudflare إن شركات الذكاء الاصطناعي الأخرى يمكنها تخصيص هذا النموذج لاحتياجاتها الخاصة.