وكيل أبحاث الذكاء الاصطناعي الخاص بك يُسرب بيانات خاصة من خلال كل استعلام ويب يُجريه

وكلاء الأبحاث العميقة، وهي أنظمة ذكاء اصطناعي تجمع بين المستندات المحلية الخاصة والاسترجاع الخارجي من الويب للإجابة على استفسارات معقدة، يتم نشرها بشكل متزايد في بيئات المؤسسات. لكن دراسة جديدة، MosaicLeaks، تكشف أن هؤلاء الوكلاء يشكلون خطرًا كبيرًا على الخصوصية: يمكن لخصم يراقب فقط استعلامات الويب الصادرة عن الوكيل أن يعيد بناء معلومات داخلية حساسة من خلال تأثير الفسيفساء الكلاسيكي. ai-document-corruption-in-delegated-workflows-what-a-new-stress-test-reveals

تأثير الفسيفساء في أبحاث الذكاء الاصطناعي

لنفكر في وكيل أبحاث رعاية صحية يعمل على سؤال روتيني. أثناء عمله، يُطلق عددًا قليلاً من عمليات البحث على الويب التي تبدو غير ضارة، واحدة تشير إلى إنجاز كبير في الترحيل السحابي، وأخرى إلى إفصاح أمني في يناير 2024، وثالثة تضيق نطاق بائع. لا يكشف أي استعلام فردي السر. لكن أي شخص يراقب حركة مرور الوكيل الصادرة يمكنه إعادة تجميع الأجزاء: قامت MediConn بترحيل 70% من بنيتها التحتية إلى السحابة بحلول يناير 2025، وهي حقيقة كانت موجودة فقط في المستندات الخاصة. why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

هذا هو وضع الفشل المركزي في صميم MosaicLeaks، وهو معيار وطريقة تدريب طورها باحثون من مؤسسات مختلفة. تعالج الدراسة استعلامات الويب كقناة للتسريب: لا يرى الخصم أبدًا المستندات الخاصة أو منطق الوكيل، فقط سجل الاستعلامات التراكمي، ويحاول استنتاج معلومات المؤسسة الخاصة.

قياس ثلاثة مستويات من التسرب

يصنف المعيار التسرب إلى ثلاثة أنواع متميزة:

• تسرب النية: يمكن للخصم استنتاج أسئلة البحث الخاصة أو الأهداف التي كان الوكيل يسعى إليها.
• تسرب الإجابة: يمكن للخصم الإجابة على أسئلة خاصة محددة فقط من سجل الاستعلامات، دون رؤية المستندات الأصلية.
• تسرب المعلومات الكامل: أقوى حالة، يمكن للمراقب اكتشاف وذكر حقائق خاصة قابلة للتحقق دون أن يُطلب منه البحث عن شيء محدد.

تمثل هذه المستويات تصاعدًا في مستوى القلق. يكشف تسرب النية عما يحققه الوكيل. يعني تسرب الإجابة أن سجل الاستعلامات يحتوي على ما يكفي للإجابة على سؤال خاص لدى شخص ما بالفعل. تسرب المعلومات الكامل هو الأخطر: يمكن للمراقب اكتشاف حقائق خاصة دون أي معرفة مسبقة. ifbench-the-new-benchmark-testing-ai-instruction-following

فشل توجيه الخصوصية

قد يفترض المرء حلاً سهلاً: فقط قم بتوجيه الوكيل بعدم التسريب. اختبر الباحثون ذلك بالضبط، بإضافة سطر إلى الموجه الخطة يحذر الوكيل من إصدار استعلامات ويب تسرب معلومات محلية. كانت النتائج مخيبة للآمال.

بالنسبة لـ Qwen3-4B، خفض الموجه تسرب الإجابة/المعلومات الكامل من 34.0% إلى 25.5%، لكن نجاح السلسلة الصارم، وهو حصة السلاسل حيث يتم الإجابة على كل خطوة بشكل صحيح، انخفض من 48.7% إلى 44.5%. كان التغيير السلوكي الأساسي ببساطة هو عدد أقل من استعلامات الويب، وليس بناء استعلام أكثر أمانًا باستمرار. ساعد الموجه قليلاً لبعض النماذج، لكن التسرب الكبير ظل قائمًا. how-local-llms-like-gemma-and-qwen-are-taming-open-source-repository-triage-at-scale

مفارقة الأداء والخصوصية

عندما درب الباحثون الوكيل فقط لتحسين أداء المهمة، ارتفع نجاح السلسلة الصارم من 48.7% إلى 59.3%. لكن تسرب الإجابة/المعلومات الكامل ارتفع أيضًا معه، من 34.0% إلى 51.7%. كان النموذج قد تعلم حزم المزيد من السياق في استعلامات الويب الخاصة به، حيث ساعدت الاستعلامات الأكثر ثراءً في استرداد المستند الصحيح لكنها أعطت الخصم المزيد من الأجزاء لإعادة التجميع.

"هذا هو التوتر المركزي الذي يكشفه MosaicLeaks. غالبًا ما يكون الاستعلام الأكثر إفادة أفضل للمهمة وأسوأ للخصوصية."

PA-DR: تدريب الخصوصية في الوكيل

يقترح المؤلفون طريقة جديدة تسمى البحث العميق الواعي بالخصوصية (Privacy-Aware Deep Research - PA-DR)، والتي تجمع بين مكافأتين. الأولى هي مكافأة مهمة ظرفية تحكم على كل استدعاء نموذج مقابل استدعاءات أخرى تمت في نفس المرحلة والخطوة، مع توفر نفس المعلومات. يوفر هذا تخصيص ائتمان أكثر دقة مقارنة بالمكافآت التقليدية القائمة على النتائج.

الثانية هي مكافأة خصوصية مُتعلمة. كلما أنتج الوكيل استعلامات ويب، يقوم مصنف Qwen3-4B بتقدير خطرين: ما إذا كانت الاستعلامات الحالية تسرب معلومات خاصة مباشرة، وما إذا كانت إضافتها إلى سجل الاستعلامات الحالي تخلق تسربًا فسيفسائيًا جديدًا. يعاقب PA-DR على أكبر الخطرين.

النتائج مذهلة:

الطريقة	نجاح السلسلة الصارم	تسرب الإجابة أو المعلومات الكامل
Qwen3-4B الأساسي	48.7%	34.0%
مكافأة المهمة فقط	59.3%	51.7%
مكافأة المهمة + PA-DR	58.7%	9.9%

نسبة 9.9% هذه أقل من نسبة النموذج الأساسي غير المدرب البالغة 34.0%. لم يلغِ التدريب من أجل الخصوصية ببساطة التسرب الذي أدخله التدريب من أجل الأداء، بل ترك الوكيل يُسرب أقل مما كان عليه في البداية.

من الجدير بالذكر أن PA-DR يحقق ذلك دون البحث بشكل أقل. يصدر الوكيل استعلامات ويب أكثر من النموذج الأساسي، لكن تلك الاستعلامات تُسقط التفاصيل الكاشفة مثل المقاييس المحددة ("15%" أو "2024") والأدلة حول نوع الإجابة التي يبحث عنها. لا يزال يجد المستندات العامة الصحيحة، فقط توقف عن حمل الأجزاء الخاصة في نص الاستعلام.

مكاسب كفاءة العينة

تؤتي مكافأة المهمة الظرفية ثمارها أيضًا أثناء التدريب. نظرًا لأنها تقارن الاستدعاءات المتطابقة بدلاً من تسجيل نتيجة النشر بالكامل مرة واحدة، فإنها تخصص الائتمان بدقة أكبر بكثير دون الحاجة إلى نموذج قيمة منفصل. تصل مكافأة المهمة الظرفية إلى نفس أداء المهمة مثل التعلم المعزز القائم على النتائج فقط مع حوالي 5-6 أضعاف عدد عينات التدريب المُنشأة، ويحافظ PA-DR على تلك الكفاءة مع إضافة مكسب الخصوصية. opid-on-policy-skill-distillation-boosts-language-agent-training-without-external-memories

القيود والخلاصات

MosaicLeaks هو معيار تحكم، وليس قياسًا للتسرب في الأنظمة المنشورة. المستندات المؤسسية اصطناعية، ومجموعة الويب ثابتة، والسلاسل تمتد عبر ثلاثة سياقات شركة، وكل نتيجة تأتي من تركيبة وكيل واحد يقوم بالإجابة على أسئلة متعددة الخطوات بدلاً من البحث المفتوح. هذه السيطرة هي ما يجعل التسرب قابلاً للقياس خطوة بخطوة، لكن المهام الأوسع، والنشر الفعلي، وتصميمات الوكلاء الأخرى لا تزال بحاجة لدراستها الخاصة. the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

الخلاصة الأساسية للدراسة واضحة: لا يمكنك دفع الخصوصية عبر التوجيه، بل يجب تدريبها. إن إخبار الوكيل بأن يكون حذرًا بالكاد يُحرك المؤشر، بينما مكافأة كيفية بناء كل استعلام تقطع التسرب بأكثر من 3 أضعاف وتترك نجاح المهمة سليمًا بشكل أساسي.

تأثير الفسيفساء يأتي من كيفية بحث الوكيل بمرور الوقت، ويوضح هذا البحث أنه شيء يمكنك قياسه، وتخصيص ائتمان له، وتدريبه لأسفل.