أطلقت علي بابا كلاود، الشركة الرئيسية المسؤولة عن التكنولوجيا الرقمية والذكاء في مجموعة علي بابا، نموذجين مفتوحي المصدر للغة الرؤية الكبيرة Qwen-VL وQwen-VL-Chat المعدّل لغايات التحادث. ويمكن للنموذجين فهم الصور والنصوص والمربعات المحددة في الأوامر وتسهيل الإجابة على الأسئلة المتعددة باللغتين الإنجليزية والصينية.

ويعتبر Qwen-VL نسخة متعددة الأوضاع من Qwen-7B، وهو نموذج علي بابا كلاود المؤلف من 7 مليارات عامل متغير لنموذجها اللغوي الكبير Tongyi Qianwen (المتوفر أيضًا على ModelScope كمصدر مفتوح). ويستطيع Qwen-VL، القادر على فهم كل من مدخلات الصور والأوامر النصية باللغتين الإنجليزية والصينية، أداء مهام مختلفة مثل الرد على الاستعلامات المفتوحة بشأن الصور المختلفة وإنشاء تعليقات للصور.

ويقدّم Qwen-VL-Chat تفاعلاً أكثر تعقيدًا، مثل مقارنة مدخلات الصور المتعددة والإجابة على جولات متعددة من الأسئلة. وبالاستفادة من تقنيات المواءمة، يعرض مساعد الذكاء الاصطناعي مجموعة من القدرات الإبداعية، والتي تشمل كتابة الشعر والقصص بناءً على الصور المدخلة، وتلخيص محتوى الصور المتعددة، وحل الأسئلة الحسابية المعروضة في الصور.

المساهمة في المصادر المفتوحة والشمولية

في محاولة لدعم انتشار تقنيات الذكاء الاصطناعي، شاركت علي بابا كلاود كود نظام ترميز النموذج وأوزانه وبياناته الموثقة مع الأكاديميين والباحثين والمؤسسات التجارية في جميع أنحاء العالم. ويمكن الوصول إلى هذه المساهمة في مجتمع المصادر المفتوحة عبر مجتمع نماذج الذكاء الاصطناعي التابع لمجموعة علي بابا ModelScope ومنصة الذكاء الاصطناعي التعاونية Hugging Face. أما بالنسبة للاستخدامات التجارية، يمكن للشركات التي لديها أكثر من 100 مليون مستخدم نشط شهريًا طلب ترخيص من علي بابا كلاود.

ومن الممكن أن يؤدي تقديم هذه النماذج، القادرة على استخلاص المعاني والمعلومات من الصور، إلى إحداث ثورة في التفاعل مع المحتوى المرئي. فمن خلال الاستفادة من مزايا فهم الصور والقدرة على الإجابة على الأسئلة، يمكن للنماذج مثلاً تقديم المساعدة المعلوماتية للمعاقين بصريًا أثناء التسوق عبر الإنترنت في المستقبل.

وقد تم تدريب نموذج Qwen-VL مسبقًا على مجموعات بيانات الصور والنصوص. وبالمقارنة مع غيره من نماذج لغة الرؤية الكبيرة مفتوحة المصدر التي يمكنها معالجة وفهم الصور بدقة 224*224، يمكن لـ Qwen-VL التعامل مع مدخلات الصور بدقة 448*448، مما يؤدي إلى التعرف على الصور وفهمها بشكل أفضل.

واستنادًا إلى مقارنات مرجعية مختلفة، سجّل Qwen-VL أداءً متميزًا في العديد من مهام اللغة المرئية، بما في ذلك إنشاء الشروح التوضيحية، والإجابة على الأسئلة المرئية العامة، والإجابة على الأسئلة المرئية الموجهة نحو النص، واكتشاف الأشياء.

كما حقق Qwen-VL-Chat أيضًا نتائج رائدة باللغتين الصينية والإنجليزية في حوار الصور والنصوص ومستويات التوافق مع البشر، وفقًا لاختبار المقارنة المرجعية من علي بابا كلاود. وشمل هذا الاختبار أكثر من 300 صورة و800 سؤال و27 فئة.

وفي وقت سابق من هذا الشهر، قامت علي بابا كلاود بفتح مصادر نماذجها اللغوية الكبيرة المكونة من 7 مليار عامل متغير Qwen-7B وQwen-7B-Chat في إطار مساهمتها المستمرة في مجتمع المصادر المفتوحة. وقد شهد النموذجان أكثر من 400 ألف عملية تنزيل خلال شهر من إطلاقهما.