En co-signant une déclaration lancée sur le Center fo AI Safety, plus de 350 experts signataires invitent à considérer la prévention du risque d'extinction de l'humanité par l'intelligence artificielle comme une priorité.
L'intelligence artificielle (IA) représente un "risque d'extinction" pour l'humanité, au même titre que le changement climatique et la guerre nucléaire, ont averti certains des principaux experts mondiaux en IA. Sam Altman, d'OpenAI, fait partie des signataires de cette lettre ouverte publiée par le Centre for AI Safety (CAIS), une organisation à but non lucratif. Les experts exhortent les législateurs à faire de la réduction des risques liés à l'IA une priorité mondiale.
Plus de 350 experts et initiés de premier plan, dont deux des "pères fondateurs de l'IA" - Geoffrey Hinton et Yoshua Bengio - ont signé cette lettre. Les signataires incluent également des dirigeants de Microsoft, Google et Anthropic, ainsi que des universitaires du monde entier. Le texte déclare :
"Atténuer le risque d'extinction lié à l'IA doit être une priorité mondiale, aux côtés d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire".Les risques futurs de l'IA avancée ne sont pas encore clairs, mais une étude récente de Google DeepMind suggère qu'ils pourraient inclure des IA prenant le contrôle d'armes nucléaires, menant des cyberattaques ou aidant des personnes malveillantes à exécuter des attaques. En collaboration avec OpenAI et Anthropic, l'entreprise a créé un système d'alerte précoce permettant de déterminer si un nouvel outil d'IA présente un risque d'utilisation malveillante. Selon les chercheurs de DeepMind, les développeurs d'IA responsables doivent non seulement s'attaquer aux risques actuels, mais également anticiper les risques futurs qui pourraient apparaître à mesure que les modèles deviennent plus autonomes. Une IA future qui ne serait pas correctement alignée sur les intérêts humains pourrait, par exemple, mener des opérations cybernétiques offensives, tromper habilement les humains lors de dialogues, manipuler les humains pour les inciter à commettre des actions néfastes, concevoir ou acquérir des armes, ou encore affiner et exploiter d'autres systèmes d'IA à haut risque sur des plates-formes informatiques en nuage.