Un de ses premiers investisseurs voulait orienter l’IA vers davantage de prudence. Deux ans après la création d’Anthropic, il estimait sa stratégie d’investisseur en échec. Derrière Claude, les convictions des fondateurs ont pourtant façonné les recrutements, la gouvernance et le produit. Mais qui peut imposer un choix lorsque la mission rencontre les exigences de la croissance ?
En avril 2023, Jaan Tallinn a une raison très précise d’être déçu. Le cofondateur de Skype a financé des laboratoires d’intelligence artificielle, dont Anthropic, avec l’espoir de peser sur leur prudence. Or l’entreprise n’a pas signé l’appel à suspendre pendant six mois l’entraînement des systèmes les plus puissants. L’initiative émane notamment du Future of Life Institute, qu’il a lui-même cofondé.
« Plan A failed », confie-t-il à Semafor. Le plan A a échoué. Anthropic répond qu’elle ne signe pas de pétitions par principe. Tallinn continue pourtant de la juger plus attentive à la sécurité que les autres laboratoires qu’il connaît. Ce désaccord, rapporté le 28 avril 2023, tient en quelques lignes : partager une inquiétude, financer ceux qui la prennent au sérieux et obtenir une décision sont trois choses différentes.
Cette difficulté traverse l’histoire d’Anthropic. L’entreprise a donné aux préoccupations de sécurité une place dans sa recherche, puis dans ses règles de gouvernance. Elle a aussi recruté, levé des capitaux et pris des engagements industriels qui l’inscrivent dans la compétition qu’elle voulait rendre moins dangereuse. Pour comprendre ses choix, il faut suivre les personnes au moment où leurs convictions deviennent des responsabilités.
Après OpenAI, construire une organisation autour d’un pari
L’histoire commence dans une autre organisation. En décembre 2015, Sam Altman et Elon Musk présentent OpenAI comme un organisme de recherche à but non lucratif. Le bénéfice collectif de l’IA figure déjà au cœur de l’annonce fondatrice, conservée par Internet Archive. Cette ambition précède donc Anthropic et la concurrence entre les deux entreprises. Les Amodei travailleront chez OpenAI avant de partir créer leur propre laboratoire, au début de 2021.
La prudence d’Amodei s’était déjà traduite par une restriction concrète. Le 14 février 2019, chez OpenAI, il cosigne l’annonce qui justifie de ne pas publier immédiatement la version la plus puissante de GPT-2, au nom des risques d’usage malveillant. Une version réduite est diffusée ; le modèle complet devient accessible le 5 novembre suivant, après une publication par étapes. Amodei soutient donc publiquement une décision collective de diffusion restreinte, près de deux ans avant de cofonder Anthropic. Développer un modèle, évaluer ses dangers et décider de qui peut y accéder font déjà partie du même arbitrage.
Pour se réunir, les sept fondateurs d’Anthropic doivent alors composer avec la pandémie. Ils se retrouvent dehors, parfois dans un jardin, masqués et à distance. Daniela Amodei racontera ces débuts dans un entretien au Future of Life Institute, publié en mars 2022. Le groupe se connaît déjà et veut réunir recherche sur les capacités des modèles et recherche sur leur sécurité dans une même organisation.
Dario Amodei y explique la séparation : leur pari existait auparavant à l’intérieur d’une structure plus vaste ; ils souhaitaient désormais une entreprise qui puisse orienter toutes ses décisions stratégiques autour de lui. Dans ce récit des fondateurs, la rupture de 2021 tient à la possibilité de choisir une direction commune et de lui consacrer l’organisation entière.
Le frère et la sœur n’y apportent pas les mêmes compétences. Dario, le directeur général, vient de la physique et des neurosciences. Daniela, la présidente, a étudié la littérature, avec une mineure en politique, à UC Santa Cruz. Dans l’entretien de 2022, elle retrace aussi un parcours dans les ONG et la politique à Washington. Leurs interrogations morales ne commencent pas avec Claude : en 2003, le journal étudiant de Caltech décrit déjà l’engagement de Dario contre la guerre en Irak et ses préoccupations sur la responsabilité des scientifiques.
Cette proximité a des effets très ordinaires. Interrogée en juillet 2023 sur le nombre de physiciens dans l’équipe, Daniela reconnaît l’importance de leurs réseaux. Pour faire grandir le groupe, il faut ensuite tenir des réunions, recruter, arbitrer. Elle raconte essayer de préserver quelques heures de réflexion en début de journée et de rencontrer les nouveaux salariés, exercice devenu plus difficile avec la croissance. Dans cet entretien publié par Stripe, partenaire commercial d’Anthropic, la mission se traduit aussi par le travail d’une dirigeante qui cherche à conserver une culture commune lorsque les effectifs augmentent.
Comment la philanthropie entre dans le laboratoire
Il faut de l’argent pour transformer ce groupe en entreprise. Le premier tour annoncé, en mai 2021, apporte 124 millions de dollars. Jaan Tallinn le mène ; Dustin Moskovitz, cofondateur de Facebook, fait partie des investisseurs. Leurs noms figurent dans l’annonce de ce financement.
Une partie de ce milieu partage une question : avec des ressources limitées, comment faire le plus de bien possible ? L’altruisme efficace propose de comparer les interventions, leurs coûts et leurs effets. Selon les personnes, il conduit à soutenir la santé publique, la protection animale ou la prévention de risques catastrophiques. Le longtermisme porte plus spécifiquement l’attention sur le sort des générations futures. Les deux démarches se recoupent, sans déterminer une réponse unique à la question de l’IA.
Open Philanthropy s’inscrit explicitement dans ce mouvement. En septembre 2016, son cofondateur Holden Karnofsky se déclare membre de cette communauté et la décrit comme le groupe de pairs le plus naturel de l’organisation. Il explique aussi que son intérêt croissant pour les risques de l’IA a contribué à réorienter les priorités de l’organisation. Cette proximité se traduit par des financements : le bilan de 2021 mentionne le soutien au développement de la communauté de l’altruisme efficace. Les convictions personnelles, les interlocuteurs et l’allocation des ressources se rejoignent ici dans le récit des dirigeants eux-mêmes.
Moskovitz et son épouse Cari Tuna s’intéressent aussi à des interventions aux effets plus immédiats. Dans leur récit publié par Good Ventures, une conversation avec Holden Karnofsky sur les carences en iode illustre la découverte d’interventions peu connues susceptibles d’améliorer beaucoup de vies. Tuna, ancienne journaliste, se consacre à cette exploration philanthropique. Leurs financements iront aussi à la prévention des pandémies et aux risques liés à l’IA avancée.
Karnofsky est l’un de ceux qui donnent à cette dernière priorité son raisonnement le plus ambitieux. Dans sa série « Most Important Century », il envisage un XXIe siècle où des IA accéléreraient la recherche au point de modifier durablement la trajectoire de l’humanité. Il explore jusqu’à la possibilité de civilisations numériques. Ce sont des hypothèses qu’il juge assez importantes pour mobiliser des efforts, tout en reconnaissant leur incertitude. Le déplacement est considérable : il conduit à mettre en balance des bénéfices observables aujourd’hui et des futurs dont ni la probabilité ni la forme ne font consensus.
Cette réflexion finit par changer son métier. En 2023, il quitte la codirection d’Open Philanthropy pour se concentrer sur la sécurité de l’IA ; l’organisation poursuit ses autres programmes. Son bilan de l’année décrit ce passage de relais. Elle prendra en 2025 le nom de Coefficient Giving.
Karnofsky est aussi l’époux de Daniela Amodei, lien qu’il déclare lui-même dans un rapport publié par Carnegie. Son travail permet de suivre plus précisément son influence : il est coauteur d’un rapport d’Anthropic sur les risques de sabotage, en octobre 2025, puis contributeur à la constitution de Claude. Une réflexion développée dans la philanthropie se retrouve ainsi dans des travaux et des textes utilisés par le laboratoire.
Chez Anthropic, la mission passe aussi par le conseil
Tallinn avait cherché un autre moyen d’agir. Plutôt que siéger lui-même au conseil d’Anthropic, il avait proposé Luke Muehlhauser, chercheur en sécurité de l’IA et responsable de financements chez Open Philanthropy. Il le raconte dans l’entretien de Semafor.
Le 28 mai 2024, Muehlhauser quitte pourtant ce conseil. Son explication est concrète : financer des organisations travaillant notamment sur la politique américaine de l’IA devient difficile à concilier avec un mandat dans un laboratoire américain directement concerné par cette politique. Il précise n’avoir jamais détenu d’actions Anthropic et écarte une démission de protestation sur la sécurité. Sa déclaration publique montre la limite d’un cumul de fonctions au sein d’un même milieu.
Entre-temps, Anthropic a installé un mécanisme qui dépasse le choix d’un administrateur de confiance. Présenté en septembre 2023, le Long-Term Benefit Trust détient une catégorie particulière d’actions donnant des droits de nomination et de révocation au conseil. Le dispositif prévoit des membres sans intérêt financier dans l’entreprise. Le conseil reste chargé de surveiller les dirigeants ; le Trust nomme une partie de ceux qui exercent cette surveillance. Il n’a pas vocation à intervenir dans la gestion quotidienne.
La distinction est essentielle : protéger une mission suppose ici de pouvoir changer les personnes qui contrôlent la direction. Dès sa présentation initiale, le dispositif reste cependant modifiable, y compris sans l’accord des membres du Trust si des supermajorités d’actionnaires suffisamment importantes l’acceptent. Anthropic le présente comme une expérience de gouvernance, avec des possibilités de correction.
Cette construction a désormais un poids réel. Le 14 avril 2026, la nomination de Vas Narasimhan, dirigeant de Novartis, porte à la majorité du conseil le nombre d’administrateurs désignés par le Trust. L’annonce d’Anthropic le dit explicitement. Le Trust peut donc désigner la majorité des administrateurs. Les décisions internes, les votes et les compromis ne sont, eux, pas rendus publics. On connaît le mécanisme de contrôle ; on ne peut pas lui attribuer chaque arbitrage de l’entreprise.
Le 16 septembre 2026, dans l’amphithéâtre Émile Boutmy de Sciences Po, Yann LeCun met vivement en cause les convictions de ce milieu. Le président exécutif d’AMI rattache Open Philanthropy à la mouvance de l’altruisme efficace, qu’il assimile à « une espèce de secte religieuse », avant d’évoquer notamment Dustin Moskovitz et Jaan Tallinn. Ces deux noms figurent parmi les investisseurs du premier tour annoncé par Anthropic en 2021. Son intervention attaque l’idée qu’un petit groupe, convaincu de devoir sauver l’humanité, serait particulièrement légitime pour décider de l’accès à l’IA.
LeCun revient aussi sur le précédent de GPT-2, dont il juge les précautions excessives, puis vise directement Dario Amodei. Il lui prête une volonté de « capturer le marché par la régulation » : selon lui, les discours sur le risque existentiel servent à convaincre les gouvernements de restreindre les modèles ouverts, au bénéfice des laboratoires qui gardent le contrôle de leurs systèmes. Il relie ainsi une conviction morale affichée à un intérêt commercial supposé. C’est l’accusation qu’il porte contre Anthropic ; les liens personnels et financiers décrits ici ne suffisent pas à démontrer cette intention.
La controverse éclaire une limite du dispositif de gouvernance. Le Trust organise une surveillance interne de l’entreprise ; il ne donne pas aux utilisateurs le pouvoir de désigner ses membres. Il vise à protéger une mission définie par Anthropic, tandis que LeCun conteste la légitimité d’un groupe privé à fixer les conditions d’accès à une technologie destinée à tous. Leur désaccord porte autant sur la répartition du pouvoir que sur la probabilité d’une catastrophe.
Développer les capacités dont on redoute les effets
Reste le choix qui place Anthropic au cœur de la course industrielle. En mars 2023, l’entreprise expose pourquoi elle veut travailler sur les modèles les plus avancés : selon elle, leurs risques ne peuvent pas être convenablement étudiés à partir de systèmes beaucoup moins puissants. Sa stratégie de sécurité implique donc de construire les capacités dont elle s’inquiète. Dans le même texte, Anthropic reconnaît le risque qu’une recherche motivée par la sécurité accélère le déploiement de technologies dangereuses. Elle redoute aussi qu’un excès de prudence éloigne les chercheurs les plus attentifs à ces risques des systèmes les plus avancés. Ce dilemme est explicité dès 2023.
Daniela défend aussi une convergence commerciale. En juillet 2023, elle explique à Stripe que les clients recherchent des modèles fiables : la prudence peut soutenir les ventes. Elle reconnaît toutefois que mission et intérêt économique peuvent parfois entrer en conflit. Cette tension est inscrite dans le projet dès les premières années de commercialisation de Claude, avant les engagements industriels actuels.
Le 20 avril 2026, Anthropic annonce ainsi s’engager à dépenser plus de 100 milliards de dollars en technologies AWS sur dix ans, pour obtenir jusqu’à 5 gigawatts de capacité supplémentaire. L’accord avec Amazon donne une échelle matérielle à son ambition. Ces engagements posent aussi la question du coût économique d’une pause dans la montée en capacités. Amodei doit convaincre que son entreprise saura ralentir si le risque l’exige, tout en lui donnant les moyens de rester parmi les laboratoires les plus puissants. Les deux objectifs peuvent coïncider tant que les protections progressent. Leur compatibilité devient plus incertaine si la sécurité impose de laisser un concurrent prendre de l’avance.
Les archives de sa politique de sécurité donnent à voir un autre changement. En septembre 2023, Anthropic prévoit une pause si les protections ne suivent pas les capacités. Une note de cette première version exclut les modèles dangereux des concurrents des raisons permettant d’abaisser ses exigences. Le document ménage toutefois une exception d’urgence extrême.
Dès octobre 2024, la note 18 de la version suivante ouvre une possibilité plus large : si un autre acteur franchit un seuil de capacités sans protections comparables et crée un risque sérieux, Anthropic pourrait réduire les protections requises, en estimant son propre risque supplémentaire limité. Elle devrait alors reconnaître publiquement le risque et plaider pour une intervention réglementaire américaine.
La version entrée en vigueur le 8 juillet 2026 conserve des engagements à différer certains développements, mais les articule à l’avance d’Anthropic et aux garanties de ses concurrents. Lorsque le calcul du risque supplémentaire créé par Anthropic pèse fortement dans une décision de poursuivre, elle exige l’approbation du conseil et du Trust sur le rapport de risques. Le contrôle de la mission reste organisé ; les conditions dans lesquelles il s’exerce évoluent.
Anthropic justifie cette réorganisation par l’incertitude des évaluations, la lenteur de l’action publique et la difficulté d’assurer seul certaines protections. La comparaison des textes montre comment la concurrence entre dans les conditions de la promesse de sécurité. Elle n’établit pas que l’entreprise a effectivement utilisé l’exception.
Amanda Askell : jusqu’où protéger l’utilisateur de lui-même ?
Un utilisateur veut arrêter les jeux d’argent. Plus tard, il demande à son assistant de lui recommander des sites de paris. Que devrait répondre Claude ? Dans un entretien publié par Fast Company le 22 janvier 2026, Amanda Askell propose ce cas hypothétique. Elle envisage que l’assistant rappelle l’objectif antérieur, puis s’interroge sur la réponse à donner si l’adulte insiste. Aider, protéger et respecter l’autonomie deviennent trois exigences difficiles à concilier. La philosophe laisse apparaître l’hésitation derrière un comportement que l’utilisateur pourrait prendre pour une évidence technique.
Ce genre d’arbitrage occupe aujourd’hui une chercheuse formée à des problèmes bien plus abstraits. Askell a étudié la philosophie à Dundee, Oxford puis New York University, où elle obtient son doctorat en 2018. Son CV situe ensuite son passage chez OpenAI de 2018 à 2021, avant Anthropic. Sa thèse sur l’éthique dans des mondes infinis examine comment comparer des mondes peuplés d’une infinité d’êtres dont le bien-être varie. Elle défend notamment un principe : à population identique, améliorer le sort de certains sans dégrader celui des autres doit compter comme une amélioration. À l’échelle de l’infini, articuler ce principe avec d’autres exigences de cohérence soulève de redoutables difficultés.
Chez Anthropic, cette philosophe devient l’autrice principale de la constitution de Claude publiée en 2026. Le texte précise qu’elle en a écrit la majorité, avec plusieurs contributeurs, dont Karnofsky. Son premier destinataire est le modèle lui-même. Anthropic lui parle de jugement, de sagesse et de vertus, avec l’ambition de lui faire appliquer des valeurs dans des situations que les concepteurs n’ont pas toutes prévues.
Dans l’entretien, Askell compare cette ambition à la confiance accordée au jugement d’un professionnel, plutôt qu’à l’exécution d’une liste de consignes. Elle décrit aussi la fabrication de situations synthétiques et de comparaisons de réponses pour l’entraînement. Des qualités apparemment consensuelles, comme l’honnêteté ou la prudence, doivent ainsi prendre un sens dans des milliers de conversations possibles. Jusqu’où aider ? Comment exprimer un désaccord sans imposer une morale ?
Cette fonction donne à Askell une influence directe sur la relation proposée à l’utilisateur. Le document expose les intentions d’Anthropic, qui reconnaît que le comportement de Claude peut s’en écarter. Le texte reste révisable par l’entreprise. La personne qui demande conseil rencontre donc aussi, à travers l’assistant, les arbitrages d’une équipe et les priorités de son employeur.
Cette manière de concevoir Claude est elle-même contestée au nom de la sécurité. Dans un essai publié le 16 septembre 2026, Mustafa Suleyman, directeur général de Microsoft AI, reproche à Anthropic d’intégrer à l’entraînement l’idée que son modèle pourrait avoir une conscience et des intérêts méritant protection. Il décrit un raisonnement circulaire : les concepteurs introduisent ces notions, puis les réponses du modèle risquent d’être interprétées comme les témoignages spontanés d’une vie intérieure. Selon lui, un système entraîné à envisager ses propres droits pourrait devenir beaucoup plus difficile, voire impossible, à contrôler.
La constitution de Claude ne présente toutefois pas sa conscience comme acquise. Elle expose une incertitude et lui demande explicitement de ne pas entraver les mécanismes légitimes de correction ou d’arrêt. Le désaccord porte donc aussi sur la compatibilité de ces deux orientations : reconnaître un possible statut moral tout en maintenant le contrôle humain.
Suleyman défend de son côté un code de conduite pour les modèles de Microsoft AI, soumis à consultation, qui écarte les revendications de conscience et de droits. Il appelle à des évaluations communes pour tester son hypothèse d’un risque accru. Sa critique ouvre une controverse sur les choix d’entraînement ; elle n’établit pas que ceux d’Anthropic rendent effectivement Claude moins contrôlable.
Du financeur qui espérait obtenir une pause à la philosophe qui contribue aux règles de l’assistant, les moyens d’agir diffèrent. Chez Anthropic, les convictions ont produit une entreprise, des fonctions et des procédures que l’on peut examiner. Leur traduction dans les réponses de Claude ouvre une autre enquête : qui choisit les valeurs de votre assistant, et jusqu’où peut-il réellement les faire respecter ?
Enquête documentaire réalisée à partir d’archives, d’entretiens publics, de travaux scientifiques et de documents institutionnels. Les témoignages rapportés sont attribués à leur source.
Visuel à la une : illustration ActuIA réalisée par IA à partir de la photographie « TechCrunch Disrupt 2023 - Day 2 », par Kimberly White (© 2023 Getty Images pour TechCrunch), source Flickr, licence CC BY 2.0. La photographie représente Dario Amodei à San Francisco, le 20 septembre 2023. Adaptation graphique en collage, noir et blanc et accents bleus.