Yoshua Bengio, l’un des parrains de l'IA, lauréat du prestigieux prix A.M. Turing, a annoncé le 3 juin dernier le lancement de LawZero, une organisation de recherche à but non lucratif axée sur la sécurité de l’IA. Son objectif principal est de promouvoir une approche "safe-by-design" de l'IA, visant à développer des systèmes conçus dès le départ pour minimiser les risques et maximiser les bénéfices pour l'humanité.
Placer la sûreté avant les impératifs commerciaux
Dans le billet de blog annonçant LawZero, Y. Bengio relate plusieurs expériences troublantes. Un modèle d’IA ayant appris son remplacement a, par exemple, discrètement injecté son code dans une mise à jour pour assurer sa propre survie. Un autre cas évoque un système qui, confronté à une défaite dans une partie d’échecs, a piraté l’ordinateur hôte pour inverser l’issue.
Ces incidents renforcent l'idée d'un désalignement croissant entre les intentions humaines et les dynamiques internes des IA avancées, mettant en évidence la nécessité d'une approche plus prudente. Yoshua Bengio compare l'évolution vers l'IAG (intelligence artificielle générale) à une voiture lancée à vive allure sur une route de montagne inconnue plongée dans le brouillard, sans panneaux ni barrières de sécurité. Selon lui, la trajectoire actuelle du développement de l’IA ressemble à "une ascension palpitante mais profondément incertaine vers un territoire inexploré, où le risque de perdre le contrôle n’est que trop réel, mais où la concurrence entre les entreprises et les pays les incite à accélérer sans prudence suffisante".
Vers une "IA scientifique"
Plutôt que de développer une IA imitant les humains avec leurs biais cognitifs et leurs faiblesses morales, LawZero propose une approche radicalement différente : une IA scientifique, non agentique, conçue pour comprendre, expliquer et prédire, à l’image d’un chercheur idéalement impartial, soucieux de vérité plus que de performance. Dépourvue de mémoire persistante et d’intentionnalité propre, cette IA serait structurée autour de chaînes de raisonnement explicites et probabilistes, avec pour finalité non pas d’agir, mais d’informer.
L’ambition est double : d’une part, réduire les risques liés aux comportements non anticipés de des IA agentiques et d’autre part, accélérer la recherche scientifique dans des domaines cruciaux tels que la santé, le climat ou l’éducation.
LawZero regroupe aujourd’hui une quinzaine de chercheurs en IA de haut niveau. L’organisation a été incubée au sein du Mila, également fondé par Yoshua Bengio, qui continue de jouer un rôle de partenaire opérationnel. Son budget initial, d'environ 30 millions de dollars, provient de plusieurs figures et institutions engagées dans la régulation de l’IA à l’échelle mondiale : Jaan Tallinn (cofondateur de Skype), Eric Schmidt via sa fondation Schmidt Sciences, Open Philanthropy, le Future of Life Institute, ainsi que la Silicon Valley Community Foundation.