في 30 يناير الماضي، قدمت Mistral AI، الشركة الفرنسية الناشئة في مجال GenAI، Small 3، وهو نموذج LLM يحتوي على 24 مليار معلمة، مما يُظهر أن أداء LLM لا يتطلب عددًا هائلًا من المعلمات. Small 3.1، خليفته، يحتفظ بهيكلية مضغوطة بينما يقدم تحسينات كبيرة في الأداء، الفهم المتعدد الوسائط، وإدارة السياقات الطويلة، متفوقًا على نماذج مثل Gemma 3-it 27B من Google وGPT-4o Mini من OpenAI.
تمامًا مثل سابقه، يحتوي Small 3.1 على 24 مليار معلمة ويمكن نشره على تهيئات مادية متاحة مثل PC يعمل ببطاقة GPU RTX 4090 واحدة أو Mac بذاكرة RAM سعة 32 جيجابايت، مما يسمح للشركات بالاحتفاظ بالتحكم في بياناتها الحساسة دون الاعتماد على بنية تحتية cloud مركزية. سرعة الاستدلال هي نفسها: 150 token في الثانية، مما يضمن تأخيرًا منخفضًا للتطبيقات التي تتطلب ردودًا فورية. وفي التزامها بالدعم open source، تقدم Mistral AI النموذجين برخصة Apache 2.0، مما يتيح للمجتمع استخدامها، تحسينها، ونشرها لحالات الاستخدام المتنوعة.
المصدر: Mistral AI
تحسين الأداء
بينما يعتمد Small 3.1 على Small 3، فإن إحدى التطورات الرئيسية تكمن في توسيع نافذة السياق من 32,000 إلى 128,000 token، وهي ميزة أساسية للمهام التي تتطلب التفكير في تسلسلات نصية طويلة. بينما كان Mistral Small 3 يركز بشكل رئيسي على النصوص، فإن الإصدار 3.1 يحسن من تفسير الصور والوثائق، مما يضعه في موضع قوي مقارنة بالنماذج التجارية الصغيرة ويفتح الباب لتطبيقات متنوعة، بدءًا من التحكم في الجودة الصناعية إلى التعرف على الوثائق وصولاً إلى تحليل الصور الطبية تلقائيًا.
يتوفر Mistral Small 3.1 بصيغتين:
- نسخة مدربة، Mistral Small 3.1 Instruct, جاهزة للاستخدام في مهام المحادثات وفهم اللغة؛
- نسخة مدربة مسبقًا، Mistral Small 3.1 Base, مثالية للتدريب المتقدم والتخصص في مجالات معينة (الصحة، المالية، القانونية، إلخ.).
تعتبر النسخة Instruct واحدة من أفضل النماذج في فئتها، متفوقة على منافسيها في benchmarks التي تتطلب التفكير والفهم السياقي. وفقًا لما تمت مشاركته من benchmarks من Mistral AI:
- يقدم Small 3.1 Instruct أداءً أفضل من Gemma 3-it (27B) من Google في المهام النصية، المتعددة الوسائط، ومتعددة اللغات؛
- يتفوق على GPT-4o Mini من OpenAI في benchmarks مثل MMLU, HumanEval وLongBench v2 بفضل نافذة السياق الموسعة إلى 128,000 token؛
- يتفوق أيضًا على Claude-3.5 Haiku في المهام المعقدة التي تتضمن سياقات طويلة وبيانات متعددة الوسائط؛
- يتفوق أمام Cohere Aya-Vision (32B) في benchmarks المتعددة الوسائط مثل ChartQA وDocVQA، مما يُظهر فهمًا متقدمًا للبيانات البصرية والنصية؛
- يقدم Small 3.1 أداءً عاليًا في تعدد اللغات، متفوقًا على منافسيه في فئات مثل اللغات الأوروبية والآسيوية.
يمكن تحميل Mistral Small 3.1 على منصة Huggingface واختباره على منصة Mistral AI. وهو متاح أيضًا على Google Cloud Vertex AI وسيكون متاحًا على NVIDIA NIM في الأسابيع المقبلة.