A quelques jours du AI Safety Summit, OpenAI annonce la constitution d'une équipe afin de suivre, évaluer, prévoir et se protéger contre les risques catastrophiques d'une utilisation malveillante de ses futurs modèles de pointe dotés de capacités de niveau AGI. Parallèlement, il a lancé un challenge afin d'identifier des domaines de préoccupation moins évidents liés à l'IA de pointe et de recruter des talents issus de divers horizons techniques pour rejoindre l'équipe Preparedness.
En mai dernier, six mois après avoir lancé ChatGPT, Sam Altman, le PDG d'Open AI, plaidait devant le Congrès américain pour une réglementation de l'IA, alarmant sur ses dangers potentiels. Il déclarait :
"L’intelligence artificielle a le potentiel d’améliorer à peu près tous les aspects de nos vies, mais elle crée aussi des risques sérieux... L’une de mes plus grandes peurs, c’est que nous, cette industrie, cette technologie, causions des dommages significatifs à la société"
A la fin du même mois, il co-signait une déclaration lancée sur le Center fo AI Safety, où plus de 350 experts signataires invitaient à considérer la prévention du risque d’extinction de l’humanité par l’intelligence artificielle comme une priorité. Plus récemment, OpenAI s'associait à Microsoft, Anthropic et Google pour lancer le Frontier Model Forum, un organisme industriel dédié au développement sûr et responsable des modèles d’IA de pointe.L'équipe Preparedness
Dans son blog "frontier-risk-and-preparedness", OpenAI déclare que cette nouvelle division, dirigée par Aleksander Madryd, Directeur du MIT Center for Deployable Machine Learning, consacrera ses efforts à anticiper et à atténuer les dangers des systèmes d’IA pionniers lorsqu’ils sont utilisés à mauvais escient. Parmi les risques identifiés figurent notamment les menaces chimiques, biologiques, radiologiques et nucléaires mais également ceux associés à la persuasion individualisée, à la cybersécurité et à la capacité de l’IA à se répliquer et à s’adapter de manière autonome. L'équipe aura également pour mission l’élaboration et la mise à jour d’une politique de développement tenant compte des risques (PDR). OpenAI explique :"Notre PDR détaillera notre approche de l’élaboration d’évaluations et d’un suivi rigoureux des capacités des modèles frontaliers, de la création d’un éventail de mesures de protection et de l’établissement d’une structure de gouvernance pour la responsabilisation et la surveillance tout au long de ce processus de développement".