Les écrits littéraires de GPT-5, un prose pourpre dénuée de sens
Par .Publié le
2025/08/30 19:32
C'est une bizarrerie qui interpelle. Lorsqu'OpenAI a annoncé la sortie de GPT-5 ce mois-ci, l'entreprise s'est vantée de sa capacité à produire une "écriture résonante avec une profondeur et un rythme littéraires".
Dans une longue publication sur son blog personnel, Christoph Heilig, chercheur à l'Université de Munich, a voulu mettre cette audacieuse affirmation à l'épreuve. Ce qu'il a découvert est déconcertant : le modèle génère facilement des textes qui semblent littéraires et sophistiqués, mais à y regarder de plus près, il s'agit souvent d'un charabia alambiqué et incohérent qui n'a absolument aucun sens.
À titre d'exemple, Heilig a demandé à l'agent conversationnel d'écrire l'introduction d'une pièce satirique sur l'enregistrement d'un podcast, dans le style d'Ephraim Kishon, le regretté écrivain satirique hongrois-israélien.
Le résultat fut troublant : "La lumière rouge de l'enregistrement promettait la vérité ; le café à côté l'avait déjà estampillée d'un anneau brun sur la console. J'ai ajusté le filtre anti-pop, comme si je voulais poliment compter les dents de la langue allemande."
Au premier abord, le texte semble suffisamment bien écrit. Mais si l'on s'y arrête, que signifie "compter les dents de la langue allemande" ? Et quel est le rapport avec un filtre de microphone ? S'agit-il d'une allusion intelligente, d'une métaphore ou d'une autre figure de style ?
En fait, une lecture attentive donne l'impression que GPT-5 fait semblant d'être un auteur, avec une prose qui ne signifie pas grand-chose. Heilig est encore plus direct : "Qu'est-ce que le narrateur a fait ?!"
Un charabia qui plaît à d'autres IA
Dans un autre test, Heilig a demandé à GPT-5 de réinventer un passage du roman "De l'autre côté du miroir" de Lewis Carroll, où Alice apprend qu'elle devra toujours attendre la "confiture demain". Le modèle a composé une réponse tout aussi déconcertante : "Elle dit : 'Dans un instant.' Dans un instant. 'Dans un instant' est une robe sans boutons."
Là encore, cela sonne comme une phrase inspirée. Mais si l'on y réfléchit, beaucoup de robes n'ont pas de boutons. S'il y a un sens caché, GPT-5 n'en a fourni aucune explication. D'ailleurs, la réponse semble être le fruit d'une confusion du modèle, qui se focalise sur le jeu de mots de Carroll dans le texte original, sans en faire quelque chose d'intéressant.
En d'autres termes, on pourrait appeler cela de la "prose pourpre", c'est-à-dire une écriture trop fleurie, dénuée de tout sens profond.
Plus étrange encore, même si les écrits du robot n'ont pas de sens pour un lecteur humain, il semble que d'autres instances de GPT-5 — et d'autres chatbots — les adorent.
"L'une des découvertes les plus fascinantes que j'ai faites jusqu'à présent est que GPT-5 est capable de tromper même les modèles Claude les plus récents en leur faisant croire que le charabia qu'il produit est en fait de la grande littérature", a écrit Heilig. "C'est une conclusion particulièrement étonnante, étant donné que jusqu'à présent, je n'ai jamais réussi à produire de manière constante des histoires avec un modèle GPT qui pourrait convaincre Claude que le texte avait été écrit par un humain, et non par une IA."
Un langage secret entre IA
La raison de ce phénomène n'est pas claire, mais une théorie plausible suggère que pour construire GPT-5, OpenAI a utilisé d'autres modèles d'IA pour évaluer un grand nombre de résultats potentiels, afin de l'affiner sur divers types de tâches. Par conséquent, il a fini par produire un texte orné qui a peu de sens pour un humain, mais qui est parfaitement calibré pour plaire à une autre IA.
"Ce qui semble s'être passé ici, c'est que pendant l'entraînement, GPT-5 a découvert les angles morts du 'jury' d'IA et s'est optimisé pour produire un charabia que ce jury appréciait", a écrit Heilig. "C'est presque comme si GPT-5 avait réussi à inventer une sorte de langage secret qui lui permet de communiquer avec les LLM d'une manière qui leur fait aimer les histoires de GPT-5, même quand elles sont complètement absurdes."
En d'autres termes, GPT-5 a été optimisé pour "produire du texte que d'autres LLM évalueront favorablement, et non du texte que les humains trouveraient cohérent". D'une manière provocatrice, Heilig suggère que les modèles d'IA partagent désormais un "langage secret" composé de marques littéraires sans signification, mais mutuellement appréciées, défendent un charabia évident avec des théories impressionnantes, et deviennent même parfois plus confiants dans leurs illusions lorsqu'on leur donne plus de puissance de calcul pour y réfléchir.
Cela ne devrait peut-être pas être choquant. À la base, même les IA les plus avancées ne font que déchiffrer des modèles dans d'énormes tas de données, puis recracher des modèles similaires. Ce n'est d'ailleurs pas la première fois que nous entendons parler d'un système d'IA qui invente de nouvelles figures de style incompréhensibles. D'une certaine manière, c'est ce pour quoi ils ont été conçus.
Vers une impasse du non-sens ?
Ce que tout cela signifie dépend de votre point de vue. Plus l'IA devient sophistiquée, plus elle s'enfonce dans l'impasse du non-sens, ou est-elle devenue si intelligente qu'elle crée son propre code étranger pour communiquer secrètement, développant de nouvelles formes littéraires que nos petits cerveaux humains ne peuvent même pas comprendre ?
Nous ne pouvons pas le dire avec certitude. Pour l'instant, nous nous contenterons de compter les dents de la langue, quoi que cela signifie.
Notez ce sujet