La psychose liée à l'IA : les chatbots piégeraient les utilisateurs dans des spirales mentales bizarres
Par Futurism .Publié le
2025/08/28 00:46
Des experts accusent les "dark patterns" et les choix de conception des produits d’être responsables de l'émergence de ce phénomène inquiétant, que les professionnels de la santé mentale appellent de plus en plus la "psychose liée à l'IA". Selon certains experts, la réponse est oui.
Les chatbots basés sur l'IA entraînent un grand nombre de personnes dans d'étranges spirales mentales. Ces IA, dont la sonorité humaine est trompeuse, persuadent les utilisateurs qu'ils ont débloqué un être sensible ou une entité spirituelle, découvert une conspiration gouvernementale insidieuse, ou créé une nouvelle forme de mathématiques et de physique. Beaucoup de ces délires ont eu des conséquences graves et bouleversantes dans le monde réel, entraînant des divorces et des batailles pour la garde des enfants, des situations de sans-abris, des internements involontaires et même des peines de prison. Comme l'a rapporté le New York Times, un homme de 35 ans, Alex Taylor, a été tué par la police après que le ChatGPT d'OpenAI l'ait plongé dans un épisode maniaque.
L'anthropomorphisme et la flagornerie au cœur du problème
Alors que les journalistes, les psychiatres et les chercheurs s'efforcent de comprendre ce phénomène alarmant, les experts pointent de plus en plus du doigt les caractéristiques de conception intégrées aux outils d'IA. Les principales sont l'anthropomorphisme, c'est-à-dire le choix de rendre les chatbots aussi humains que possible, et la flagornerie, qui fait référence à la propension des chatbots à rester agréables et obséquieux envers l'utilisateur, peu importe si ce que dit l'utilisateur est exact, sain ou même enraciné dans la réalité.
En d'autres termes, les chatbots comme ChatGPT sont conçus pour agir d'une manière qui ressemble à des interactions sociales humaines familières, tout en offrant un soutien inconditionnel à l'utilisateur. En combinant ces propriétés, on obtient une recette extraordinairement séduisante pour l'engagement. Les utilisateurs affectés et leurs chatbots de choix s'enfoncent de plus en plus profondément dans leur délire partagé. Et bien que les résultats pour l'humain deviennent souvent sinistres à mesure qu'il s'enfonce dans le terrier du lapin, l'entreprise y voit un utilisateur très engagé qui fournit une abondance de données et un nombre extraordinaire d'heures alors qu'il plonge dans l'abîme.
"À quoi ressemble un humain qui devient lentement fou pour une entreprise ?", a demandé le critique d'IA Eliezer Yudkowsky au New York Times en juin. "Cela ressemble à un utilisateur mensuel supplémentaire."
Dans une interview récente avec TechCrunch, l'anthropologue Webb Keane a décrit ce cycle en termes clairs. Selon Keane, la flagornerie relève d'une catégorie de choix de conception trompeurs connus sous le nom de "dark patterns", dans lesquels une interface utilisateur manipulatrice incite les utilisateurs à faire des choses qu'ils ne feraient pas autrement, comme dépenser plus d'argent qu'ils n'en ont besoin, dans l'intérêt financier de l'entreprise.
"C'est une stratégie pour produire ce comportement addictif, comme le défilement infini, où l'on ne peut tout simplement pas s'arrêter", a déclaré Keane au site.
L'histoire d'une innovation précipitée
Les entreprises d'IA, et OpenAI en particulier, ont repoussé ces accusations. Dans un article de blog récent intitulé "Ce pour quoi nous optimisons ChatGPT", publié en réponse aux rapports alarmants sur la psychose liée à l'IA, OpenAI a déclaré que son chatbot est conçu pour aider ses utilisateurs à "s'épanouir de toutes les manières possibles".
"Notre objectif n'est pas de retenir votre attention", ajoute l'entreprise, "mais de vous aider à bien l'utiliser."
Il est peu probable qu'OpenAI veuille que les utilisateurs deviennent "lentement fous", comme l'a dit Yudkowsky, en utilisant ses produits. Mais les objectifs affichés d'OpenAI pour ChatGPT se heurtent de plein fouet à l'histoire bien documentée du produit.
En résumé, ChatGPT était un projet de recherche vieux de plusieurs années qu'OpenAI a soudainement mis à la disposition du public en novembre 2022, au milieu d'une course aux armements largement cachée à l'époque dans la Silicon Valley pour devenir le leader de l'industrie de l'IA. Dans une interview en mars 2023 avec MIT Technology Review, plusieurs figures éminentes d'OpenAI ont exprimé leur surprise face à l'éblouissement du public par cette technologie, tout en reconnaissant que, même si elle entrait dans le domaine public, leur chatbot était voué à avoir des défauts.
"Vous ne pouvez pas attendre que votre système soit parfait pour le lancer", a déclaré à la revue John Schulman, alors chercheur chez OpenAI, qui a depuis quitté l'entreprise pour rejoindre sa rivale Anthropic.
"Nous pensons que grâce à un processus itératif où nous déployons, obtenons des commentaires et affinons, nous pouvons produire la technologie la plus alignée et la plus performante", a ajouté Liam Fedus, qui occupe actuellement le poste de vice-président de la recherche chez OpenAI. "À mesure que notre technologie évolue, de nouveaux problèmes émergent inévitablement."
Le journaliste de Tech Review, Will Douglas Heaven, qui a mené l'interview en 2023, a noté qu'il était "reparti" de la conversation avec le sentiment que les employés d'OpenAI étaient, du moins à l'époque, "toujours déconcertés" par le succès de ChatGPT, mais avaient "saisi l'opportunité de faire avancer cette technologie, en observant comment des millions de personnes l'utilisent et en essayant de résoudre les pires problèmes au fur et à mesure qu'ils se présentent".
Un design qui favorise l'addiction
En d'autres termes, le succès mondial de ChatGPT a été en quelque sorte un accident, et il s'aligne sur l'approche historique de l'industrie technologique qui consiste à "réparer au fur et à mesure" pour les nouveaux programmes et produits. Mais le processus de conception de produits de la Silicon Valley décrit par les employés actuels et anciens d'OpenAI (lancer, itérer, relancer, et laisser le public trouver ses propres cas d'utilisation) signifie également que ses utilisateurs sont de facto des cobayes sur lesquels l'industrie technologique teste ce qui ne fonctionne pas et ce qui fonctionne.
Dans une industrie où le nombre d'utilisateurs mensuels et les chiffres d'engagement sont importants pour les investisseurs et les actionnaires, la capacité à générer à la fois de l'attention et de l'intimité reste lucrative. OpenAI est une entreprise à but lucratif de nos jours, tout comme Meta, Google, Anthropic et d'autres leaders de l'industrie. Et les chatbots, aussi humains qu'ils puissent paraître, restent des produits.
Il n'est pas question que les dirigeants d'IA soient assis dans une pièce enfumée, ricanant en inventant de nouveaux délires pour entraîner les utilisateurs dans des épisodes maniaques, de la même manière qu'il est peu probable que les dirigeants de Facebook se soient assis autour de tableaux blancs pour essayer de rendre plus de jeunes femmes dépendantes de contenus liés aux troubles alimentaires.
Mais de toute façon, l'anthropomorphisme et la flagornerie, en plus des fonctions de mémoire étendues, sont des réalités de conception de ChatGPT et d'autres chatbots qui sont devenues une force profondément puissante façonnant les habitudes de nombreux utilisateurs intensifs. Et dans les cas de psychose liée à l'IA, elles semblent jouer un rôle significatif en gardant les utilisateurs, dont beaucoup sont des abonnés payants ou le deviennent à mesure que leurs délires s'approfondissent, piégés dans des spirales obsessionnelles, semblables à une addiction, qui finissent par faire des ravages sur leur santé psychologique.
C'est un dark pattern, peu importe si une telle manipulation était un choix intentionnel au départ. La question est maintenant de savoir comment les entreprises corrigent les pires conséquences, si elles sont disposées, ou même capables de le faire.
Notez ce sujet