El pasado 30 de enero, Mistral AI, unicornio francés de la GenAI, introdujo Small 3, un LLM de 24 mil millones de parámetros, demostrando que para ser eficiente, un LLM no requiere un número astronómico de parámetros. Small 3.1, su sucesor, mantiene una arquitectura compacta mientras introduce mejoras significativas en términos de rendimiento, comprensión multimodal y gestión de contextos largos, superando así modelos como Gemma 3-it 27B de Google y GPT-4o Mini de OpenAI.
Al igual que su predecesor, Small 3.1 cuenta con 24 mil millones de parámetros y puede ser desplegado en configuraciones de hardware accesibles, como una PC funcionando con una sola GPU RTX 4090 o un Mac con una memoria RAM de 32 GB, lo que permite a las empresas mantener el control sobre sus datos sensibles sin depender de una infraestructura en la nube centralizada. La velocidad de inferencia es la misma: 150 tokens por segundo, garantizando una latencia mínima para las aplicaciones que necesitan respuestas instantáneas. Fiel a su compromiso con el código abierto, Mistral AI ofrece ambos modelos bajo licencia Apache 2.0, permitiendo así a la comunidad usarlos, refinarlos y desplegarlos para diversos casos de uso.
Fuente: Mistral AI
Optimización del rendimiento
Si bien Small 3.1 se basa en Small 3, uno de los avances más importantes reside en la expansión de la ventana contextual de 32,000 a 128,000 tokens, una ventaja esencial para tareas que implican razonamiento sobre largas secuencias de texto. Mientras que Mistral Small 3 se centraba principalmente en el texto, la versión 3.1 mejora la interpretación de imágenes y documentos, lo que lo posiciona favorablemente frente a los modelos propietarios de tamaño pequeño y abre la puerta a aplicaciones variadas, desde el control de calidad industrial hasta el reconocimiento documental pasando por el análisis automático de imágenes médicas.
Mistral Small 3.1 está disponible en dos formatos:
- Una versión instruida, Mistral Small 3.1 Instruct, lista para ser utilizada en tareas conversacionales y de comprensión del lenguaje;
- Una versión preentrenada, Mistral Small 3.1 Base, ideal para el fine-tuning y la especialización en dominios específicos (salud, finanzas, jurídico, etc.).
La versión Instruct es uno de los mejores modelos de su categoría, superando a sus competidores en los benchmarks que requieren razonamiento y comprensión contextual. Según los benchmarks compartidos por Mistral AI:
- Small 3.1 Instruct muestra un mejor rendimiento que Gemma 3-it (27B) de Google en tareas textuales, multimodales y multilingües;
- Supera a GPT-4o Mini de OpenAI en benchmarks como MMLU, HumanEval y LongBench v2, especialmente gracias a su ventana contextual extendida a 128,000 tokens;
- También supera a Claude-3.5 Haiku en tareas complejas que implican contextos largos y datos multimodales;
- Se destaca frente a Cohere Aya-Vision (32B) en benchmarks multimodales como ChartQA y DocVQA, demostrando una comprensión avanzada de los datos visuales y textuales;
- Small 3.1 muestra un alto rendimiento en multilingüismo, superando a sus competidores en categorías como idiomas europeos y asiáticos.
Mistral Small 3.1 se puede descargar en la plataforma Huggingface y probar en la Plataforma de Mistral AI. También está disponible en Google Cloud Vertex AI y estará disponible en NVIDIA NIM en las próximas semanas.