ViQ يمنح الذكاء الاصطناعي متعدد الوسائط ما كان يحتاجه: رموز منفصلة لا تفقد التفاصيل

كان تمثيل الصور كرموز منفصلة، مثل اللغة، حلمًا للذكاء الاصطناعي متعدد الوسائط منذ أن بدأ الناس في بنائه. الفكرة واضحة: مساحة موحدة للرؤية والنص، نماذج أبسط، وحوسبة أقل. المشكلة هي أن جعل الصورة منفصلة يكلف معلومات. إما أن تحتفظ بالبكسلات وتفقد معناها، أو تلتقط الدلالات وتتخلص من التفاصيل. ورقة بحثية جديدة من Tencent-Hunyuan، بعنوان "ViQ: Text-Aligned Visual Quantized Representations at Any Resolution"، تقترح إطار عمل يحاول الاحتفاظ بكليهما. a-transformer-that-unifies-density-and-score-estimation-could-shrink-a-key-bottleneck-across-ai-and-science

التحدي الأساسي: التقدير الكمي دون تضحية

الطرق الحالية للتمثيل البصري المنفصل تنقسم إلى معسكرين. طرق إعادة البناء أولاً، مثل VQ-VAE ومشتقاتها، تعيد إنتاج التفاصيل على مستوى البكسل لكنها تفوت المفاهيم عالية المستوى التي تحتاجها نماذج اللغة. التدريب التبايني المسبق، مثل CLIP، يعطي بنية دلالية لكنه يضغط أو يتجاهل التفاصيل البصرية، مما يجعله عديم الفائدة لإعادة البناء الدقيق. what-a-15-part-series-on-ai-generation-reveals-about-the-state-of-the-art

يقسم ViQ تعلم التقدير الكمي إلى مرحلتين. الأولى، التدريب المسبق المتوافق مع النص، تعرض الترميز البصري لإشراف غني دلالياً من نموذج لغة مدرب مسبقاً. الأهم من ذلك، أنه يتعامل مع المدخلات ذات الدقة الأصلية، بدون قص أو تغيير حجم أو تجزئة قبل الترميز. المرحلة الثانية، تقدير الميزات المنفصلة، تستخدم استراتيجية تعلم تمثيلية تقريبية جديدة لضغط مساحة الميزات تدريجياً، جنباً إلى جنب مع آلية تقدير كمي موجهة بالرأس مدركة للموضع تتكيف مع الدقة التعسفية. ai2-releases-emo-an-moe-model-where-modularity-emerges-from-data

الابتكار التقني: التعلم التقريبي والتقدير الكمي الموجه بالرأس

استراتيجية التعلم التمثيلي التقريبي هي المساهمة الرئيسية للورقة. بدلاً من فرض مساحة الميزات بأكملها في قاموس رموز بحجم ثابت في تمريرة واحدة، فإنها تطبق ضغطاً تكراريًا، وتجميع وتقدير الميزات تدريجياً مع الحفاظ على الأحياء من المساحة المستمرة. هذا يحافظ على كل من التفاصيل المحلية والبنية العامة سليمة. jet-longs-bifocal-attention-is-forcing-a-rethink-of-long-context-efficiency-trade-offs

آلية التقدير الكمي الموجهة بالرأس المدركة للموضع تضيف مرونة. التقدير الكمي المتجهي القياسي يعامل كل موضع ميزة بشكل مستقل، مما يفشل في التقاط العلاقات المكانية في الصور ذات الأحجام المختلفة. يقدم ViQ رؤوس تقدير كمي متعددة، كل منها يهتم بمقياس مكاني مختلف، ويزن مخرجاتها بناءً على السياق الموضعي. يستطيع الترميز تخصيص المزيد من البتات للمناطق المهمة دلالياً دون إهدار السعة على الخلفيات الموحدة.

الأداء التجريبي: جودة تنافسية مع تسريع كبير في السرعة

تظهر التجارب الواسعة عبر معايير متعددة الوسائط، بما في ذلك إنشاء تعليقات الصور والإجابة على الأسئلة البصرية وتوليد الصور من النص، أن تمثيلات ViQ المنفصلة تؤدي ضمن 1 إلى 3 نقاط مئوية من ترميزات الرؤية المستمرة الأحدث (مثل SigLIP و DINOv2)، مع استخدام معاملات أقل وإنتاج رموز منفصلة. في مهام إعادة البناء منخفضة المستوى، يتفوق ViQ على الطرق المنفصلة الأخرى بهامش كبير. gpt-55-dominates-a-new-benchmark-for-agents-that-rewrite-their-own-rules

قد يكون تسريع التدريب النتيجة الأكثر لفتاً للانتباه. عند استخدام تمثيلات ViQ المقدّرة في تدريب LLM متعدد الوسائط، أبلغ المؤلفون عن تسريع بنسبة 20% إلى 70% اعتماداً على حجم LLM الأساسي ووصفة التدريب. يأتي التسريع من تقليل الأبعاد والهندسة الأبسط للرموز المنفصلة، مما يقلل من عرض النطاق الترددي للذاكرة وتكاليف ضرب المصفوفات أثناء التمريرات الأمامية.

"ViQ هو أول إطار عمل يثبت أن التمثيلات البصرية المنفصلة يمكنها في نفس الوقت مطابقة الترميزات المستمرة في المهام متعددة الوسائط وتقديم تدريب أسرع بشكل كبير،" تنص الورقة. يعزو المؤلفون مكاسب الكفاءة إلى ضغط الرموز المقدّرة وإزالة طبقات الإسقاط من المستمر إلى المنفصل المكلفة.

الآثار المترتبة على الذكاء الاصطناعي متعدد الوسائط

إذا ثبتت فعالية ViQ عملياً، فقد يسرع من تطوير نماذج متعددة الوسائط واسعة النطاق التي تعالج الصور والنص من خلال مساحة رموز واحدة. التمثيلات الموحدة ضرورية للمساعدين من الجيل التالي، وإدراك الروبوتات، وأنظمة الرؤية واللغة في الوقت الفعلي حيث يكون زمن الاستجابة وميزانية الحوسبة مقيدين. the-plumbing-problem-in-ai-search-is-finally-getting-a-unified-solution

القدرة على التعامل مع المدخلات ذات الدقة الأصلية مهمة بشكل خاص. تتطلب العديد من ترميزات الرؤية تغيير حجم الصور إلى دقة ثابتة، مما يتخلص من التفاصيل ويسبب تشويهاً. تصميم ViQ المستقل عن الدقة يعني أنه يمكنه معالجة المستندات عالية الدقة، أو صور المجهر، أو صور الأقمار الصناعية دون معالجة مسبقة، مع الاحتفاظ بالمعلومات التي كانت ستفقد لولا ذلك. new-framework-lets-robots-adapt-to-novel-environments-without-retraining

تلاحظ الورقة أيضاً أن رموز ViQ المنفصلة متوافقة مع بنى المحولات الحالية ويمكن إدخالها مباشرة في LLMs دون تعديلات معمارية، وهي ميزة عملية للفرق التي تدمج الرؤية دون إعادة كتابة مجموعة نماذجها.

القيود والأسئلة المفتوحة

القيود الرئيسية للدراسة: أجريت جميع التجارب على مجموعات بيانات نظيفة ومنسقة (COCO, Flickr30k، ومجموعة بيانات داخلية خاصة). الأداء على الصور المزعجة أو المنحرفة في المجال أو منخفضة الجودة، الشائعة في النشر في العالم الحقيقي، لا يزال غير مُختبر. حجم قاموس الرموز والتكاليف الإضافية للتقدير الكمي في وقت الاستدلال لم يتم تحليلها بدقة؛ إذا زاد عدد الرؤوس أو مدخلات قاموس الرموز أكثر من اللازم، فقد تتآكل مكاسب الكفاءة. navigating-the-edge-new-framework-promises-safer-ai-deployment-in-critical-systems

لا تنشر الورقة نموذجاً مدرباً مسبقاً أو رمزاً وقت النشر، مما يحد من قابلية التكرار. سيكون التحقق الخارجي ضرورياً لتأكيد أن التسريعات المبلغ عنها تنتقل إلى سير العمل الإنتاجي.

الخلاصة

ViQ هو خطوة مدروسة نحو مساحة تمثيل موحدة للرؤية واللغة، معالجة المقايضة طويلة الأمد بين الثراء الدلالي والتفاصيل البصرية في الترميز المنفصل. من خلال الجمع بين التدريب المسبق المتوافق مع النص والتقدير الكمي التدريجي والرؤوس المدركة للموضع، يحقق فريق Tencent-Hunyuan أداءً تنافسياً متعدد الوسائط مع تقديم تسريعات تدريبية كبيرة. مع نمو النماذج متعددة الوسائط في الحجم والطموح، قد تصبح التمثيلات المنفصلة الفعالة والحافظة على التفاصيل عاملاً تمكينياً رئيسياً. how-to-build-an-ai-writing-pipeline-from-scratch-in-2025