Lo scorso 30 gennaio, Mistral AI, unicorno francese della GenAI, ha introdotto Small 3, un LLM con 24 miliardi di parametri, dimostrando che per essere performante, un LLM non necessita di un numero astronomico di parametri. Small 3.1, il suo successore, mantiene un'architettura compatta introducendo miglioramenti significativi in termini di prestazioni, comprensione multimodale e gestione di contesti lunghi, superando così modelli come Gemma 3-it 27B di Google e GPT-4o Mini di OpenAI.
Proprio come il suo predecessore, Small 3.1 conta 24 miliardi di parametri e può essere implementato su configurazioni hardware accessibili, come un PC funzionante con un solo GPU RTX 4090 o un Mac con 32 GB di RAM, permettendo alle aziende di mantenere il controllo sui propri dati sensibili senza dipendere da un'infrastruttura cloud centralizzata. La velocità di inferenza è la stessa: 150 token al secondo, garantendo una latenza minima per le applicazioni che richiedono risposte immediate. Fedele al suo impegno per l'open source, Mistral AI offre entrambi i modelli sotto licenza Apache 2.0, permettendo così alla comunità di usarli, affinarli e implementare per vari casi d'uso.
Fonte: Mistral AI
Ottimizzazione delle prestazioni
Sebbene Small 3.1 si basi su Small 3, uno dei progressi maggiori risiede nell'espansione della finestra contestuale da 32.000 a 128.000 token, un vantaggio essenziale per i compiti che implicano un ragionamento su lunghe sequenze di testo. Mentre Mistral Small 3 si concentrava principalmente sul testo, la versione 3.1 migliora l'interpretazione delle immagini e dei documenti, posizionandosi favorevolmente rispetto ai modelli proprietari di piccole dimensioni e aprendo la porta a varie applicazioni, che vanno dal controllo qualità industriale al riconoscimento documentale fino all'analisi automatica di immagini mediche.
Mistral Small 3.1 è disponibile in due formati:
- Una versione istruita, Mistral Small 3.1 Instruct, pronta per essere utilizzata per compiti conversazionali e di comprensione del linguaggio;
- Una versione pre-allenata, Mistral Small 3.1 Base, ideale per il fine-tuning e la specializzazione su ambiti specifici (sanità, finanza, giuridico, ecc.).
La versione Instruct è uno dei migliori modelli della sua categoria, superando i suoi concorrenti nei benchmark che richiedono ragionamento e comprensione contestuale. Secondo i benchmark condivisi da Mistral AI:
- Small 3.1 Instruct mostra prestazioni migliori rispetto a Gemma 3-it (27B) di Google in compiti testuali, multimodali e multilingue;
- Supera GPT-4o Mini di OpenAI in benchmark come MMLU, HumanEval e LongBench v2, grazie alla sua finestra contestuale estesa a 128.000 token;
- Supera anche Claude-3.5 Haiku in compiti complessi che coinvolgono contesti lunghi e dati multimodali;
- Eccelle rispetto a Cohere Aya-Vision (32B) in benchmark multimodali come ChartQA e DocVQA, dimostrando una comprensione avanzata dei dati visivi e testuali;
- Small 3.1 mostra alte prestazioni nel multilinguismo, superando i suoi concorrenti in categorie come le lingue europee e asiatiche.
Mistral Small 3.1 può essere scaricato sulla piattaforma Huggingface e testato sulla Piattaforma di Mistral AI. È anche disponibile su Google Cloud Vertex AI e sarà proposto su NVIDIA NIM nelle prossime settimane.