Mistral AI daagt DeepSeek uit met Magistral, zijn eerste geavanceerde redeneermodel

Met Magistral slaat Mistral AI een nieuwe weg in. Niet in de race naar grootte, maar in de zoektocht naar een meer verklaarbare AI, meer verankerd in menselijk redeneren, en vooral beter aangepast aan de operationele realiteiten van bedrijven. Het nieuwe model bouwt voort op de vooruitgang van Small 3.1, ondersteunt vele talen, waaronder Engels, Frans, Spaans, Duits, Italiaans, Arabisch, Russisch en vereenvoudigd Chinees. Het implementeert een expliciete redeneerketen, stap voor stap, die kan worden gevolgd, bevraagd en geaudit in de taal van de gebruiker.

Mistral AI heeft Magistral Small uitgebracht onder de Apache 2.0-licentie, waardoor de gemeenschap het kan gebruiken, verfijnen en implementeren voor diverse gebruiksscenario's. Het is te downloaden op  https://huggingface.co/mistralai/Magistral-Small-2506.

Deze versie is geoptimaliseerd door middel van een supervised fine-tuning (SFT) gebaseerd op de redeneertraces gegenereerd door Magistral Medium tijdens zijn interacties, en verder verfijnd door middel van reinforcement learning (RLHF) om de kwaliteit en consistentie van het redeneren te verbeteren.

Net als de Small 3-modellen, telt Magistral Small 24 miljard parameters en kan, eenmaal gekwantificeerd, worden geïmplementeerd op toegankelijke hardwareconfiguraties zoals een PC met een enkele RTX 4090 GPU of een Mac met 32 GB RAM, waardoor ontwikkelaars de controle over hun gevoelige data kunnen behouden zonder afhankelijk te zijn van een gecentraliseerde cloudinfrastructuur.

Deze variant is de zakelijke versie van Magistral. Krachtiger, het is beschikbaar op het Mistral-platform Le Chat en via de bedrijfs-API. Momenteel geïmplementeerd op Amazon SageMaker, zal het binnenkort beschikbaar zijn op IBM WatsonX, Azure AI en Google Cloud Marketplace.

Volgens de unicorn vermindert Flash Answers in de Chat drastisch de responstijd. Volgens hen bereikt Magistral Medium een verwerkingssnelheid tot 10 keer hoger dan die van veel concurrenten.

Mistral AI heeft de prestaties van Magistral vergeleken met die van Mistral Medium en concurrerende modellen van DeepSeek op verschillende benchmarks voor redeneren en begrip.

Magistral-Medium overtreft Mistral-Medium 3 op alle benchmarks, wat de effectiviteit van het verbeterde redeneren bewijst. Op de AIME 2024 benchmarks haalt Medium een score van 73,6% met 90% meerderheid van de stemmen, vergeleken met 70,7% en 83,3% voor Small. Competitieve resultaten, hoewel DeepSeek op sommige benchmarks nog steeds een voorsprong heeft.

Mistral AI richt zich op gebruiksscenario's waar stapsgewijs denken doorslaggevend is:

Diversiteit die een wil suggereert om zowel gereguleerde sectoren als cognitief intensieve technische beroepen te betreden, zonder de openheid voor meer 'creatieve' toepassingen op te offeren.