Intelligence Artificielle et Recherche en Ligne : Un Taux d'Erreur Alarmant Révélé par une Étude"
Par Futurism .Publié le
2025/03/16 06:59
Une étude récemment publiée par la Columbia Journalism Review révèle un constat pour le moins préoccupant : les moteurs de recherche basés sur l'intelligence artificielle (IA) fournissent des informations erronées dans une proportion stupéfiante. Le choc est palpable, mais les faits sont là.
Menée par des chercheurs du Tow Center for Digital Journalism, cette analyse a examiné huit modèles d'IA, dont la recherche ChatGPT d'OpenAI et Gemini de Google. Les résultats sont sans appel : ces modèles ont donné des réponses incorrectes à plus de 60 % des requêtes.
Plus inquiétant encore, le modèle le plus précis testé, Perplexity de Perplexity AI, a tout de même fourni des réponses erronées dans 37 % des cas. Le bonnet d'âne est attribué à Grok 3, le chatbot d'Elon Musk, qui a atteint un taux d'erreur vertigineux de 94 %. Une performance pour le moins désastreuse.
"Alors que les moteurs de recherche traditionnels agissent comme des intermédiaires, orientant les utilisateurs vers des sites d'information et des contenus de qualité, les outils de recherche générative analysent et reformulent l'information eux-mêmes, coupant ainsi le flux de trafic vers les sources originales", alertent les auteurs de l'étude. "Les réponses conversationnelles de ces chatbots masquent souvent de graves problèmes de qualité de l'information."
La propension des grands modèles de langage à mentir ou à rapporter des informations erronées est désormais bien documentée. Pourtant, les entreprises technologiques persistent à vouloir remplacer la recherche web traditionnelle, en lançant des versions de leurs chatbots existants spécialement conçues à cet effet, comme la recherche ChatGPT. Google a même introduit un "mode IA" qui affiche uniquement des résumés de Gemini au lieu de liens web.
Cette dernière étude quantifie les raisons pour lesquelles cette approche pourrait s'avérer dangereuse. Les chercheurs ont sélectionné dix articles aléatoires dans un ensemble de vingt publications, allant du Wall Street Journal à TechCrunch. Dans un test qui aurait dû être simple, les chatbots ont été invités à identifier le titre d'un article, son éditeur, sa date de publication et son URL. Pour faciliter la tâche, les chercheurs ont veillé à ne choisir que des extraits d'articles dont la source originale apparaissait dans les trois premiers résultats d'une recherche Google classique.
Outre le taux d'erreur supérieur à la moitié des cas, les tests ont révélé d'autres tendances préoccupantes. L'une d'entre elles : la présentation de "savoirs douteux avec une confiance alarmante", soit en ne qualifiant pas leurs réponses, soit en ne refusant pas les questions auxquelles ils ne pouvaient répondre.
Cela rejoint d'autres recherches qui montrent que les modèles d'IA préfèrent "halluciner" – c'est-à-dire inventer des réponses – plutôt que d'admettre leurs limites. Peut-être parce qu'une politique d'honnêteté révélerait leur inutilité. Par exemple, Copilot de Microsoft a refusé plus de questions qu'il n'en a résolues, selon les chercheurs.
Les outils de recherche IA se sont également révélés peu fiables en matière de citation de sources. La recherche ChatGPT a renvoyé à un article source erroné dans près de 40 % des cas et a tout simplement omis d'en fournir dans 21 % des cas. Un problème majeur pour la vérification des faits, et un coup dur pour les éditeurs, privés de toute chance de générer du trafic à partir d'un modèle d'IA qui a aspiré leur contenu. L'avenir de l'économie des médias en ligne s'en trouve-t-il compromis ? La question se pose.
Source: Futurism
Notez ce sujet