- Mathématiques complexes : Résolution de problèmes en plusieurs étapes, où une simple erreur de calcul ou de logique dans une étape peut compromettre le résultat final ;
- Programmation : Analyse des erreurs dans un code et élaboration d’une solution optimale après avoir envisagé plusieurs options ;
- Sciences : Compréhension et application de théories scientifiques complexent pour résoudre des questions à plusieurs facettes.
La famille OpenAI o3
La nouvelle famille compte deux modèles : o3 et o3-mini, une version plus rapide et plus économique, offrant des capacités similaires à une fraction du coût et de la latence du modèle o1-mini qui excelle, selon OpenAI dans les STEM, en particulier les mathématiques et le codage. [embed]https://youtu.be/SKBG1sqdyIU[/embed]Les performances d'o3
Sur le benchmark « Abstract and Reasoning Corpus for Artificial General Intelligence » (ARC-AGI) développé par le créateur de Keras, la bibliothèque d’apprentissage profond open source, François Chollet, afin de mesurer l’efficacité de l’acquisition de compétences par l'IA sur des tâches inconnues, o3 a atteint les meilleurs scores : il a non seulement triplé les performances de o1 avec un score de 75.7% sur une évaluation semi-privée où les ressources de calcul sont limitées, mais atteint celui de 87,5 % sur le paramètre de calcul élevé.
François Chollet souligne toutefois qu'o3 pourrait voir son score potentiellement réduit à moins de 30 % lors du prochain benchmark ARC-AGI-2, prévu pour 2025, même à un calcul élevé (alors qu’un humain intelligent serait toujours capable de marquer plus de 95 % sans formation).
Sur d'autres benchmarks, comme GPQA Diamond en mathématiques, EpochAI's Frontier Math Benchmark ou Codeforces, il a également démontré des performances impressionnantes.
Des modèles plus sûrs
OpenAI dit avoir développé pour ses modèles "o" une nouvelle technique de sécurité appelée "alignement délibératif" qui utilise les capacités de raisonnement des modèles pour mieux identifier les prompts, sûrs et non-sûrs, améliorant ainsi leur performance en matière de sécurité.Vers l'IAG ?
Si le modèle rapproche un peu plus OpenAI de l'IAG, il peine encore à résoudre des tâches simples. Il est en outre coûteux, nécessitant des ressources de calcul substantielles pour atteindre ses performances optimales : environ 20 $ par tâche pour une faible puissance de calcul, plusieurs milliers par tâche pour des configurations à calcul élevé, ce qui peut entraver son déploiement à grande échelle. OpenAI a ouvert un accès anticipé aux modèles o3 et o3-mini pour les chercheurs en sécurité afin de tester les modèles avant leur lancement public, prévu pour fin janvier pour o3-mini et peu après pour o3.Nos articles remonteront en priorité dans « À la une » de Google.
