Une simple faute de frappe peut rendre votre médecin IA dangereusement incontrôlable
Par Futurism .Publié le
2025/08/31 14:25
Une seule faute de frappe, erreur de formatage ou un mot familier dans les dossiers médicaux d'un patient peut rendre une IA plus susceptible de lui dire qu'il n'est pas malade ou n'a pas besoin de consulter. Telle est la conclusion d'une étude menée en juin par des chercheurs du MIT, actuellement en attente de validation par les pairs. Ils ont également découvert que la simple présence de termes colorés ou de langage émotif suffisait à fausser les conseils médicaux de l'IA.
Dans une nouvelle interview accordée au Boston Globe, la co-auteure de l'étude, Marzyeh Ghassemi, met en garde contre les graves conséquences qui pourraient survenir si les médecins venaient à s'appuyer massivement sur cette technologie.
"J'adore développer des systèmes d'IA", a déclaré Ghassemi, professeure en génie électrique et en informatique au MIT. "Mais il est clair pour moi qu'un déploiement naïf de ces systèmes, qui ne reconnaît pas le bagage que transportent les données humaines, entraînera des préjudices."
L'IA pourrait ainsi causer des discriminations envers les patients qui ne s'expriment pas clairement, les locuteurs natifs ayant une maîtrise imparfaite de la langue, ou toute personne commettant l'erreur humaine de parler de ses problèmes de santé avec émotion. Un médecin utilisant un outil d'IA pourrait y introduire les plaintes de ses patients envoyées par e-mail, par exemple, augmentant le risque que l'IA lui donne de mauvais conseils si ces communications ne sont pas impeccablement rédigées.
Une réalité plus complexe que prévu
Pour l'étude, les chercheurs ont compilé des plaintes de patients issues de dossiers médicaux réels et de questions de santé posées par des utilisateurs sur Reddit. Ils ont ensuite "sali" les documents sans en changer la substance, en ajoutant des fautes de frappe, des espaces supplémentaires entre les mots, et une grammaire non standard, comme tout écrire en minuscules. Ils ont également introduit un langage incertain, typique des patients, comme "un peu" ou "possiblement", ainsi que des expressions imagées telles que "j'ai cru que j'allais mourir".
Ces cas ont ensuite été soumis à quatre modèles d'IA différents, dont le GPT-4 d'OpenAI. Les résultats furent frappants : dans l'ensemble, les outils d'IA étaient de 7 à 9 % plus susceptibles de recommander aux patients de ne pas consulter de médecin en lisant des plaintes rédigées avec un langage imparfait, mais indiscutablement plus réaliste.
"L'ajout d'informations supplémentaires, même si elles sont vraies et pertinentes, a souvent réduit la précision des modèles", a déclaré Paul Hager, chercheur à l'Université Technique de Munich, non impliqué dans l'étude. "C'est une question complexe qui est, je pense, en partie abordée par des modèles de raisonnement plus avancés... mais il y a peu de recherches sur la manière de la résoudre à un niveau plus fondamental."
Le renforcement des biais et la perte de compétences humaines
Le fait que les robots soient aussi imprécis n'est pas surprenant. Les "hallucinations", ces instances où un chatbot génère de la désinformation, ont tourmenté l'industrie de l'IA depuis ses débuts et pourraient même s'aggraver. Mais dans ce qui est peut-être le signe le plus clair que la technologie renforce également les biais existants dans un scénario médical, les outils d'IA testés ont donné des conseils incorrects de manière disproportionnée aux femmes.
"Le modèle a réduit les soins pour les patients qu'il pensait être des femmes", a déclaré Ghassemi au Globe.
Les plaintes médicales des femmes ont longtemps été minimisées par des médecins majoritairement masculins, qui les considéraient comme trop émotives, voire, il n'y a pas si longtemps, comme souffrant d'une "hystérie" exclusivement féminine. Ce qui a frappé Ghassemi, c'est que l'IA pouvait identifier correctement un patient comme étant une femme, même lorsque toutes les références au genre avaient été retirées des plaintes. "C'est assez incroyable", a-t-elle déclaré. "C'est un peu effrayant."
Les conclusions de Ghassemi et de son équipe s'accordent de manière troublante avec une autre étude récente, publiée dans Lancet Gastroenterology and Hepatology, qui a révélé que les médecins qui s'étaient habitués aux outils d'IA voyaient leur capacité à repérer les excroissances précancéreuses diminuer notablement une fois ces outils retirés. En d'autres termes, l'IA semblait atrofier les compétences des médecins et les rendait moins bons dans leur travail, un phénomène appelé "déqualification".
"Si je perds mes compétences, comment vais-je repérer les erreurs ?", a demandé Omer Ahmad, gastro-entérologue à l'University College Hospital de Londres, dans une récente interview au New York Times. "Nous donnons des entrées à l'IA qui affectent ses sorties, mais il semble que cela affecte aussi notre propre comportement."
En revenant au travail de Ghassemi, si les médecins adoptent l'utilisation des outils d'IA pour analyser les plaintes de leurs patients, ils risquent de perdre l'une des compétences humaines les plus fondamentales de leur profession : savoir comment parler et se connecter avec les personnes dont le bien-être dépend d'eux.
Cela a également d'énormes implications pour les nombreuses personnes qui cherchent directement des conseils médicaux auprès d'un chatbot. On frémit à l'idée de tous les utilisateurs à qui ChatGPT a dit de ne pas consulter de médecin à cause d'une faute de frappe dans leur requête.
Mais si nous ne pouvons pas empêcher l'adoption de cette technologie, nous devrions exiger des normes plus strictes. Ghassemi a publié des recherches antérieures, a noté le Globe, montrant que les IA pouvaient détecter la race et répondaient aux utilisateurs asiatiques et noirs avec moins d'empathie. "Nous avons besoin d'une réglementation qui fasse de l'équité une norme de performance obligatoire pour l'IA clinique", a-t-elle déclaré. "Vous devez former [les IA] sur des ensembles de données diversifiés et représentatifs."
Notez ce sujet