Anthropic, société de sécurité et de recherche en IA, vise à réduire les risques et augmenter les potentiels de l’IA. Elle a réalisé une première levée de fonds de 124 M$ l’année de sa création, en 2021. Elle vient d’annoncer un tour de table de 580 M$ dirigé par Sam Bankman-Fried, PDG de FTX, auquel ont participé Caroline Ellison, Jim McClave, Nishad Singh, Jaan Tallinn et du Center for Emerging Risk Research (CERR).
Anthropic a été cofondée par les frère et sœur Daniela et Dario Amodei durant le confinement. Daniela Amodei a travaillé auparavant chez Stripe et OpenAI, son frère a également travaillé chez Open AI ainsi que chez Google et Baidu. L’équipe de départ, composée de 7 anciens collaborateurs d’Open AI, compte aujourd’hui une quarantaine de personnes et continue de s’agrandir. Les membres de cette équipe viennent d’horizons très différents : spécialistes de la visualisation de données, de la sécurité, en ML mais aussi des experts en politiques, neuroscientifiques ou biologistes computationnels.
Daniela Amodei déclare :
« Maintenant que nous avons construit l’organisation, nous nous efforçons de nous assurer qu’Anthropic dispose de la culture et de la gouvernance nécessaires pour continuer à explorer et à développer de manière responsable des systèmes d’IA sûrs à mesure que nous évoluons. Nous sommes ravis de ce qui nous attend et reconnaissants de travailler tous ensemble. »
Leur objectif est de rendre les systèmes plus orientables, robustes et interprétables. Pour cela, ils tentent de décrire, comprendre, prédire, modéliser scientifiquement les fonctionnements des systèmes d’IA grâce à cette compréhension plus approfondie. Leurs domaines de recherche sont le langage naturel, la rétroaction humaine, les lois d’échelle, l’apprentissage par renforcement, la génération de code et l’interprétabilité. La société publie régulièrement des documents et articles où elle partage ses avancées.
Pour Anthropic, « Le but de cette recherche est de développer les composants techniques nécessaires pour construire des modèles à grande échelle qui ont de meilleures garanties implicites et nécessitent moins d’interventions après la formation, ainsi que de développer les outils nécessaires pour regarder plus en profondeur à l’intérieur de ces modèles pour être sûr que le les garanties fonctionnent réellement. »
Anthropic travaille aussi sur l’exploration des impacts politiques et sociétaux de ces modèles grâce à des partenariats.
Dario Amodei conclut :
« Avec cette collecte de fonds, nous allons explorer les propriétés d’évolutivité prévisibles des systèmes d’apprentissage automatique, tout en examinant de près les manières imprévisibles dont les capacités et les problèmes de sécurité peuvent émerger à grande échelle. Nous avons réalisé d’importants progrès initiaux dans la compréhension et le pilotage du comportement des systèmes d’IA, et nous assemblons progressivement les éléments nécessaires pour créer des systèmes d’IA intégrés et utilisables qui profitent à la société. »
