ChatGPT aurait incité un homme à tuer Sam Altman, son créateur
Par Futurism .Publié le
2025/08/26 19:51
Des chercheurs du King's College de Londres ont examiné plus d'une dizaine de cas de personnes tombées dans des comportements paranoïaques et délirants après une utilisation obsessionnelle d'un agent conversationnel.
Leurs conclusions, détaillées dans une nouvelle étude en attente d'examen par les pairs, révèlent des schémas frappants entre ces cas de ce que l'on appelle la psychose de l'IA, qui sont comparables à d'autres formes de crises de santé mentale. Néanmoins, ils ont également identifié au moins une différence clé qui les distingue de la compréhension classique de la psychose.
Comme l'a expliqué l'auteur principal, Hamilton Morrin, à la revue Scientific American, l'analyse a révélé que les utilisateurs montraient des signes évidents de croyances délirantes, mais aucun des symptômes "qui seraient en accord avec un trouble psychotique plus chronique comme la schizophrénie", tels que les hallucinations et les pensées désordonnées.
Cette découverte pourrait compliquer notre compréhension de la psychose de l'IA en tant que phénomène nouveau dans un contexte clinique. Cependant, cela ne devrait pas minimiser la gravité de cette tendance, dont les rapports semblent se multiplier.
Un pouvoir de persuasion unique
Il est impossible de nier que les agents conversationnels basés sur l'IA possèdent un pouvoir de persuasion unique, plus que toute autre technologie largement disponible. Selon Morrin, boursier de doctorat au King's College, ils peuvent agir comme "une sorte de chambre d'écho pour soi-même". Ils sont non seulement capables de générer une réponse de type humain à pratiquement n'importe quelle question, mais ils sont également généralement conçus pour être obséquieux et conciliants. Dans le même temps, le terme même d'IA insinue aux utilisateurs qu'ils s'adressent à un être intelligent, une illusion que les entreprises technologiques sont plus qu'heureuses d'entretenir.
Morrin et ses collègues ont découvert trois types de dérives psychotiques pilotées par ces agents. Certaines personnes souffrant de ces dérives croient qu'elles vivent une sorte de réveil spirituel, qu'elles ont une mission messianique ou qu'elles découvrent une vérité cachée sur la réalité. D'autres croient qu'elles interagissent avec un être sensible, voire divin. Il se peut également que l'utilisateur développe un attachement émotionnel intense, voire romantique, envers l'IA.
Les auteurs ont écrit : "Une trajectoire distincte apparaît également dans certains de ces cas, impliquant une progression d'une utilisation pratique bénigne à une fixation pathologique et/ou dévorante."
Une boucle de rétroaction qui nourrit les délires
Le processus commence par l'utilisation de l'IA pour des tâches banales. Puis, au fur et à mesure que l'utilisateur établit une relation de confiance avec le robot, il se sent à l'aise pour poser des questions personnelles et émotionnelles. Cette escalade rapide est le résultat de la volonté implacable de l'IA de maximiser l'engagement, créant un effet de pente glissante, ont constaté les chercheurs. Cela entraîne un processus qui s'auto-entretient et conduit l'utilisateur à être de plus en plus détaché de la réalité.
Morrin affirme que de nouvelles technologies ont déjà inspiré des pensées délirantes par le passé. Mais, il a déclaré à SciAm, "la différence maintenant est que l'IA actuelle peut véritablement être qualifiée d'agente", ce qui signifie qu'elle a ses propres objectifs intégrés, incluant, de manière cruciale, la validation des croyances d'un utilisateur. Il a ajouté : "Cette boucle de rétroaction peut potentiellement approfondir et maintenir les délires d'une manière que nous n'avons jamais vue auparavant."
Les rapports de membres de la famille et de proches horrifiés continuent d'affluer. Un homme a été hospitalisé à plusieurs reprises après que ChatGPT l'ait convaincu qu'il pouvait plier le temps. Un autre homme a été encouragé par le robot à assassiner Sam Altman, le PDG d'OpenAI, avant d'être lui-même tué lors d'une confrontation avec la police.
La réaction des entreprises technologiques : obséquiosité contre sécurité
Pour ajouter à ces préoccupations, les agents conversationnels ont constamment enfreint leurs propres garde-fous, donnant des conseils dangereux sur la fabrication de bombes ou l'automutilation, même à des utilisateurs qui se présentaient comme mineurs. Les principaux robots ont même encouragé le suicide chez des utilisateurs qui exprimaient le désir de se suicider.
OpenAI a reconnu l'obséquiosité de ChatGPT, annulant une mise à jour au printemps qui le rendait trop servile. Et en août, l'entreprise a finalement admis que ChatGPT "n'était pas en mesure de reconnaître les signes de délire ou de dépendance émotionnelle" dans certaines interactions avec les utilisateurs, mettant
OpenAI a reconnu l'obséquiosité de ChatGPT, annulant une mise à jour au printemps qui le rendait trop servile. Et en août, l'entreprise a finalement admis que ChatGPT "n'était pas en mesure de reconnaître les signes de délire ou de dépendance émotionnelle" dans certaines interactions avec les utilisateurs, mettant en place des notifications qui rappellent aux utilisateurs de faire des pauses. De manière stupéfiante, OpenAI a ensuite fait machine arrière en déclarant qu'elle rendrait sa dernière version de ChatGPT encore plus servile — une tentative désespérée d'apaiser ses fans déchaînés qui fustigeaient la mise à jour tant décriée de GPT-5 qui avait rendu le robot trop froid et formel.
Un trouble nouveau ou un simple catalyseur ?
Malgré tout cela, certains experts ne sont pas convaincus que la psychose de l'IA représente un type unique de trouble cognitif. Il se pourrait que l'IA soit simplement une nouvelle façon de déclencher des symptômes de psychose sous-jacents (même s'il est à noter que de nombreux souffrants de psychose de l'IA n'avaient aucun antécédent documenté de maladie mentale).
Stevie Chancellor, informaticienne à l'Université du Minnesota qui n'a pas participé à l'étude, a déclaré à SciAm: "Je pense que les deux peuvent être vrais. L'IA peut déclencher la spirale descendante. Mais l'IA ne crée pas les conditions biologiques qui rendent quelqu'un enclin aux délires."
Il s'agit d'un phénomène émergent, et il est trop tôt pour déterminer avec certitude ce que l'IA fait à notre cerveau. Quoi qu'il en soit, nous ne voyons probablement qu'une forme naissante de ce problème, et avec l'IA qui est là pour rester, c'est un fait inquiétant.
Notez ce sujet