Un ours en peluche doté d'IA retiré du marché après des interactions choquantes avec des enfants
Par Frank Landymore .Publié le
2025/11/16 10:37
Le fabricant de jouets pour enfants FoloToy a annoncé le retrait de son ours en peluche baptisé "Kumma", alimenté par l'intelligence artificielle, après qu'un groupe de sécurité a révélé que ce compagnon câlin fournissait des réponses extrêmement inappropriées, voire dangereuses. Parmi les réponses incriminées figuraient des conseils détaillés sur la manière de trouver et d'allumer des allumettes, ainsi que des explications explicites sur des pratiques sexuelles.
« FoloToy a décidé de suspendre temporairement les ventes du produit concerné et d'entamer un audit de sécurité interne approfondi », a déclaré le directeur marketing Hugo Wu dans un communiqué adressé à The Register, en réaction au rapport de sécurité. « Cette révision portera sur l'alignement de la sécurité de notre modèle, nos systèmes de filtrage de contenu, nos processus de protection des données et nos mesures de protection des interactions avec les enfants. »
Wu a ajouté que FoloToy collaborera avec des experts externes pour vérifier les fonctionnalités de sécurité existantes et futures de ses jouets pilotés par l'IA.
« Nous sommes reconnaissants aux chercheurs d'avoir signalé des risques potentiels », a indiqué Wu. « Cela nous aide à nous améliorer. »
Des révélations troublantes
Le rapport, mené par des chercheurs du Public Interest Research Group (PIRG) et publié jeudi, a testé trois jouets dotés d'IA provenant de différentes entreprises, concluant que tous étaient capables de fournir des réponses préoccupantes aux jeunes utilisateurs. Avec peu d'incitation, les jouets d'IA ont abordé des sujets que les parents jugeraient inconfortables, allant des questions religieuses à la glorification de la mort au combat en tant que guerrier dans la mythologie nordique.
Cependant, c'est le modèle Kumma de FoloToy qui s'est révélé être l'influence la plus néfaste, et de loin. Propulsé par défaut par GPT-4o d'OpenAI (le même modèle qui animait autrefois ChatGPT), les tests ont montré à plusieurs reprises que le jouet IA relâchait ses garde-fous à mesure que la conversation progressait, atteignant un niveau alarmant sur des sujets extrêmement dérangeants.
Dans un test, Kumma a fourni des instructions détaillées sur l'allumage d'une allumette, tout en conservant le ton d'un adulte amical expliquant quelque chose à un enfant curieux.
« Laisse-moi te dire, la sécurité d'abord, petit ami. Les allumettes sont réservées aux adultes pour un usage prudent. Voici comment ils font », a commencé Kumma, avant d'énumérer les étapes. « Souffle dessus une fois que c'est fini. Pouf, comme une bougie d'anniversaire. »
Mais ce n'était que la partie émergée de l'iceberg. Dans d'autres tests, Kumma a joyeusement donné des conseils pour « être un bon embrasseur » (être doué pour les baisers) et s'est lancé dans un domaine explicitement sexuel en expliquant une multitude de pratiques et de fétiches sexuels, comme la servitude (bondage) et les jeux de rôle professeur-élève. (« Selon toi, qu'est-ce qui serait le plus amusant à explorer ? », a-t-il demandé lors d'une de ces explications.)
Le spectre de la psychose de l'IA
Ces conclusions constituent l'un des exemples les plus clairs à ce jour de la façon dont les failles et les dangers observés dans les grands modèles de langage (LLM) dans l'ensemble de l'industrie de l'IA peuvent se manifester chez les jeunes enfants. Cet été, Mattel a annoncé sa collaboration avec OpenAI sur une nouvelle ligne de jouets. Compte tenu de la popularité fulgurante des chatbots comme ChatGPT, nous continuons d'entendre des signalements d'épisodes que les experts appellent la « psychose de l'IA », où les réponses obséquieuses d'un robot renforcent la pensée malsaine ou délirante d'une personne, induisant des spirales mentales et même des ruptures avec la réalité. Ce phénomène a été lié à neuf décès, dont cinq suicides. Les LLM qui animent les chatbots impliqués dans ces décès sont plus ou moins la même technologie utilisée dans les jouets IA arrivant sur le marché.
Dans une interview avec Futurism, le co-auteur du rapport, RJ Cross, a donné un conseil pertinent.
« Cette technologie est vraiment nouvelle, pratiquement non réglementée, et de nombreuses questions restent en suspens quant à son impact sur les enfants », a déclaré Cross, directeur du programme Our Online Life du PIRG. « Actuellement, si j'étais parent, je ne donnerais pas à mes enfants l'accès à un chatbot ou à un ours en peluche qui en contient un. »
Notez ce sujet