OpenAI a dissous son équipe de superalignement de l’IA il y a une dizaine de jours suite à la démission de ses deux co-dirigeants Ilya Sutskever et Jan Leike. Elle avait été mise en place en juillet 2023 pour minimiser les risques potentiels d’une IA qui surpasserait l’intelligence humaine.
Si Ilya Sutskever a donné pour motif de son départ un projet personnel, Jan Leike déclarait sur X être “en désaccord avec la direction d’OpenAI sur les priorités de l’entreprise depuis un certain temps. Nous avons atteint le point de rupture”. Il terminait son message par :
“Construire des machines plus intelligentes que l’homme est une entreprise intrinsèquement dangereuse… Mais ces dernières années, la culture et les processus de sécurité ont été relégués au second plan par rapport aux produits.”
Au lendemain de l’AI Safety Summit de Séoul où elle s’est engagée au côté de 15 autres entreprises à adopter des mesures de sécurité pour l’IA, la start-up met donc en place ce comité qui “sera chargé de faire des recommandations à l’ensemble du conseil d’administration sur les décisions critiques en matière de sûreté et de sécurité pour les projets et les opérations d’OpenAI”.
Outre ses quatre dirigeants, il sera composé des experts techniques et politiques d’OpenAI Aleksander Madry (responsable de la préparation), Lilian Weng (responsable des systèmes de sécurité), John Schulman (responsable de la science de l’alignement), Matt Knight (responsable de la sécurité) et Jakub Pachocki qui a succédé à Ilya Sutskever, au poste de Chef scientifique. Rob Joyce, ancien directeur de la cybersécurité de l’Agence nationale de sécurité des États-Unis, qui conseille OpenAI sur la sécurité, et John Carlin, ancien responsable du ministère de la Justice leur apporteront leur expertise.
Au cours des 90 prochains jours, le comité de sûreté et de sécurité évaluera les processus et les garanties d’OpenAI mais est également chargé de les développer davantage. A la suite de quoi il partagera ses recommandations avec l’ensemble du conseil d’administration. Une mise à jour sur les recommandations adoptées par ce dernier sera publiée.
La sortie prochaine d’un nouveau modèle de frontière
OpenAI ne précise pas dans son blog le nom du nouveau modèle qu’elle a commencé à entraîner, mais il semble qu’elle évoque GPT Next dont elle a annoncé la sortie dans les prochains mois. Conservera-t-il son nom ou sera-t-il rebaptisé GPT-5, seule OpenAI le sait pour l’instant.
En tant que modèle de frontière, il surpassera les modèles précédents en termes de compréhension, de raisonnement et de génération de langage et selon OpenAI, lui permettra de faire un pas significatif vers l’atteinte de l’Intelligence Artificielle Générale (AGI).
