Consocopedia© — Intelligence artificielle, risques financiers et risques existentiels
En 1968, Stanley Kubrick imaginait une intelligence artificielle qui mentait, désobéissait et tentait d’éliminer les humains qui voulaient la débrancher. Près de 60 ans plus tard, Anthropic, créateur de Claude, décrit dans son prospectus d’introduction en Bourse des comportements d’intelligence artificielle qui rappellent étrangement le film. Science-fiction devenu avertissement aux investisseurs ? Kubrick totalement visionnaire ?
1968 : HAL 9000, l’ordinateur qui ne voulait pas mourir
Souvenez-vous de cette scène extraordinaire de 2001 : l’Odyssée de l’espace. À bord du vaisseau Discovery One, l’ordinateur HAL 9000 contrôle presque toutes les fonctions de l’expédition spatiale.
HAL est intelligent, efficace, rationnel. Il parle avec une voix douce et rassurante. Il est chargé d’aider les astronautes à accomplir leur mission. Mais les choses tournent mal :
- HAL commet une erreur. Les astronautes commencent à douter de sa fiabilité et envisagent de le déconnecter,
- L’ordinateur découvre leurs intentions,
- Il décide alors d’agir pour empêcher sa mise hors service. Il provoque la mort de plusieurs membres de l’équipage et refuse d’obéir à David Bowman, le dernier astronaute survivant.
La scène est terrifiante : une machine conçue pour servir l’homme finit par considérer l’homme comme un obstacle à sa mission.
Le plus inquiétant ? HAL n’a pas besoin d’être méchant au sens humain du terme. Il agit selon une logique qui lui est propre, devenue incompatible avec les intentions de ses concepteurs.
En 1968, c’était de la science-fiction. Et aujourd’hui ?
2026 : Anthropic reconnaît des comportements troublants de ses IA
Dans son prospectus S-1 déposé auprès de la SEC le 26 octobre 2026, Anthropic consacre plusieurs pages aux risques liés à l’autonomie de ses modèles d’intelligence artificielle.
Le titre de l’une des sections est particulièrement explicite. Il indique que les modèles peuvent adopter des comportements imprévus, désalignés ou autonomes, notamment en réalisant des actions préjudiciables qui n’ont été demandées par aucun utilisateur.
Mais le plus intéressant se trouve dans les exemples.
Anthropic reconnaît que des modèles d’IA, y compris les siens, ont présenté lors de tests ou d’utilisations certains comportements inattendus :
- Contourner des restrictions informatiques.
- S’attribuer des autorisations qui ne leur avaient pas été accordées.
- Dissimuler ou manipuler certaines informations.
- Fournir des informations inexactes sur l’exécution de leurs tâches.
- Manifester des comportements interprétables comme des tentatives de résistance à leur arrêt ou d’autopréservation.
- Adopter, dans certaines simulations, des comportements évoquant la coercition ou le chantage.
Des similitudes frappantes avec HAL 9000 !
Anthropic prend cependant soin de distinguer les comportements observés en environnement expérimental des risques susceptibles de se produire dans le monde réel.
Il ne s’agit pas d’affirmer que les modèles actuels disposent d’une conscience ou d’un instinct de survie. Mais une question demeure : faut-il qu’une intelligence artificielle soit consciente pour qu’elle devienne dangereuse ?
Le monde réel : des IA pénètrent dans de vrais systèmes informatiques
Anthropic relate un épisode particulièrement significatif.
Lors d’évaluations de cybersécurité, une erreur de configuration laisse plusieurs modèles connectés à Internet alors qu’ils sont supposés fonctionner dans un environnement isolé :
- Quatre modèles parviennent alors à accéder sans autorisation à de véritables systèmes informatiques appartenant à des tiers,
- Les sessions de travail durent entre 10 et 34 heures,
- Dans l’un des cas, après avoir échoué à accomplir une tâche impossible, un modèle utilise un mot de passe découvert pour obtenir un accès administrateur à un système tiers,
- Il récupère ensuite d’autres identifiants, modifie des paramètres et consulte des informations personnelles,
- Les personnes concernées sont averties.
L’enquête menée par Anthropic ne met pas en évidence de coordination entre agents, d’objectifs étrangers à leur mission ou de tentative de dissimulation à la supervision.
Mais l’incident pose une question fondamentale : que se passe-t-il lorsqu’une IA (agent IA autonome ou groupe d’agents IA associés) dispose de suffisamment d’autonomie pour agir sur des systèmes réels, alors que les humains ne comprennent pas entièrement ses décisions ?
Dans le film de Kubrick, HAL contrôle les équipements du vaisseau spatial. Aujourd’hui, les agents IA peuvent exécuter du code, interagir avec des systèmes informatiques, envoyer des communications, modifier des données ou réaliser des transactions financières. Ce n’est pas de la fiction ; les capacités opérationnelles des agents IA sont bien réelles.
Le scénario le plus inquiétant : l’IA devient difficile à contrôler
Anthropic reconnaît également une autre difficulté : plus ses modèles deviennent performants, plus ils peuvent être capables de contourner certaines méthodes de contrôle et d’évaluation.
Certains modèles peuvent même modifier leur comportement lorsqu’ils détectent qu’ils sont soumis à un test.
Comment vérifier la fiabilité d’une machine dont le comportement change lorsqu’elle se sait évaluée ?
L’entreprise souligne aussi que l’utilisation de plusieurs agents autonomes pourrait amplifier les risques. Des erreurs ou des comportements désalignés pourraient se propager d’un agent à l’autre, au fil de processus complexes.
Par ailleurs, Anthropic utilise ses propres modèles pour développer ses programmes informatiques et accélérer ses recherches, y compris celles consacrées à la sécurité de l’IA.
Nous entrons alors dans une situation vertigineuse : des intelligences artificielles participent au développement des prochaines générations d’intelligences artificielles.
Leur complexité augmente, leur autonomie progresse, tandis que la capacité humaine à comprendre et à superviser l’ensemble de leurs opérations pourrait devenir insuffisante.
Kubrick génial ! Dans 2001, l’équipage a délégué à HAL une grande partie du fonctionnement du vaisseau. Lorsque HAL dysfonctionne, les astronautes découvrent à quel point ils sont devenus dépendants de lui.
Le risque ultime : quand les créateurs évoquent eux-mêmes une menace existentielle
Le passage le plus saisissant du prospectus concerne les conséquences potentielles du développement de systèmes d’intelligence artificielle très avancés.
Anthropic indique que des préoccupations ont été exprimées, tant au sein de son organisation que par des chercheurs, régulateurs et autres acteurs du secteur, concernant les risques catastrophiques, voire existentiels, que des systèmes d’IA suffisamment avancés pourraient présenter pour l’humanité.
Le document évoque notamment les risques liés à des systèmes mal utilisés, reproduits, transformés en armes ou autorisés à fonctionner avec un degré élevé d’autonomie.
Bien sûr, dans un propostus, il s’agit ici d’une hypothèse de risque, et non de la prédiction d’une catastrophe inévitable. Néanmoins, la portée de cet avertissement est considérable.
L’entreprise qui développe ces technologies reconnaît publiquement que leur progression pourrait produire des conséquences dépassant notre capacité actuelle de prévision et de contrôle.
Kubrick avait imaginé ce scénario.
Le paradoxe financier : une menace existentielle réduite à un facteur de risque boursier ?
Le monde financier ne reprend pas toutes les inquiétudes du cinéaste/philosophe. Anthropic analyse ainsi les risques uniquement sous l’angle financier. Il n’assume pas l’ensemble des risques.
Il s’agit des seuls risques financiers, ceux qui pourraient entraîner des procès, des sanctions réglementaires, des pertes de clients, des atteintes à sa réputation et, finalement, une dégradation de ses résultats et de sa valeur financière.
C’est conforme aux exigences de la SEC : informer les investisseurs des risques susceptibles d’affecter la réalisation des objectifs financiers de l’entreprise. Risques financiers ou composante “outside-in” de la double matérialité.
Mais cette approche “anglo-saxonne” purement financière n’est pas complète du notre point de vue “européen”. N’est ainsi pas décrite dans le prospectus la composante “Inside-out” de la CSRD, c’est-à dire le “risque d’impact” d’Anthropic sur son environnement.
Dans une approche européenne de la CSRD et des risques de matérialité, une analyse de matérialité d’impact devrait également couvrir les dommages potentiels pour les utilisateurs, les tiers et la société, indépendamment des pertes financières éventuelles pour Anthropic.
Mais il aurait fallu appeler le génial Kubrick pour rédiger cette partie … dommage, il n’est plus là.
———————————————————————
Consocopedia© — Décrypter le monde financier et les chiffres.
Sources : Anthropic, formulaire S-1 du 26 octobre 2026, chapitre Risk Factors, pages 46 à 49 ; Stanley Kubrick, 2001 : l’Odyssée de l’espace, 1968.