Elon Musk avait annoncé la semaine dernière que Grok, le chatbot IA développé par sa startup xAI, serait désormais open source. C’est chose faite : les poids du modèle de fondation qui l’alimente, Grok-1, ainsi que son architecture ont été publiés hier sur GitHub. Il est également possible de retrouver les poids du modèle depuis ce matin via un fichier torrent sur X.
En juillet dernier, Elon Musk annonçait le lancement de xAI, qui avait été enregistrée au Nevada le mois de mars précédent. Onze experts en IA, travaillant auparavant chez DeepMind, OpenAI, Google Research, Microsoft Research, Tesla et l’Université de Toronto, étaient venus complétés son équipe, basée en Californie.
Elon Musk affirmait que Grok était la meilleure IA générative existant alors, soulignant que “Grok a accès en temps réel aux infos via X, ce qui lui donne un avantage majeur sur les autres modèles”. Le chatbot est disponible depuis fin 2023 pour les abonnés X Premium+, sensé leur répondre avec humour et sans filtre.
Sur son blog, XAI explique que la version de Grok publiée en open-source, est un modèle de mélange d’experts (MoE) de 314 milliards de paramètres formé à partir de zéro. Il s’agit du point de contrôle du modèle de fondation brut de la phase de pré-formation Grok-1, qui s’est terminée en octobre 2023, ce qui signifie que le modèle n’est pas affiné pour une application spécifique, telle que le dialogue.
Il a été publié sous licence Apache 2.0, les développeurs peuvent donc le modifier et le redistribuer à leur gré.
Pourquoi le choix de l’open source ?
Lorsqu’Elon Musk a cofondé OpenAI en 2015 avec notamment Sam Altman, c’était en tant qu’organisation à but non lucratif visant à développer des intelligences artificielles générales bénéfiques à l’humanité. Sa charte stipule : “Nous tenterons de construire directement des AGI sûres et bénéfiques, mais considérerons également notre mission comme remplie si notre travail aide les autres à atteindre ce résultat”.
Elon Musk, qui l’a quitté en 2018, a déposé plainte début mars contre OpenAI et Sam Altman pour non-respect de l’accord initial à l’origine de la création de l’association, GPT-4 étant un modèle fermé. Elon Musk s’est alors vu reprocher une certaine ambivalence et hypocrisie du fait que Grok l’était aussi. Le 11 mars dernier, il a donc annoncé l’ouverture du modèle.
