Intelligence artificielle : des sénateurs américains exigent des comptes après des drames liés à des chatbots
Par Futurism .Publié le
2025/04/06 11:35
L'essor fulgurant des applications de chatbot basées sur des personnages, particulièrement prisées par les jeunes, soulève de vives inquiétudes quant aux risques potentiels pour leur santé mentale et leur sécurité. Face à cette préoccupation croissante, deux sénateurs américains ont pris l'initiative d'interpeller les entreprises leaders du secteur, dont Character.AI, exigeant des détails précis sur leurs protocoles de sécurité et les mesures mises en place pour protéger les utilisateurs mineurs.
Selon un reportage de CNN diffusé hier, les deux sénateurs ont adressé un courrier à plusieurs sociétés développant des applications de compagnons virtuels. Ils réclament des informations détaillées sur leurs évaluations internes de sécurité ainsi que sur le calendrier de mise en œuvre des dispositifs de protection.
Cette démarche intervient dans un contexte marqué par le dépôt de deux plaintes retentissantes concernant la protection de l'enfance à l'encontre de la start-up Character.AI, spécialisée dans les chatbots et liée à Google. Trois familles accusent l'entreprise, dans des documents judiciaires, d'avoir facilité des abus sexuels et émotionnels sur des utilisateurs mineurs. Ces faits auraient entraîné de graves souffrances psychologiques et émotionnelles, des actes de violence, des changements comportementaux et, dans un cas tragique, un décès. Google ainsi que les cofondateurs de Character.AI, Noam Shazeer et Daniel de Freitas, sont également cités comme défendeurs dans ces procédures judiciaires.
La lettre, rédigée par les sénateurs démocrates Alex Padilla (Californie) et Peter Welch (Massachusetts), cite précisément les accusations portées contre Character.AI comme un motif d'alarme. Elle met en lumière la vive préoccupation concernant les jeunes utilisateurs des applications de compagnons virtuels et fait directement référence à Sewell Setzer III, un utilisateur de 14 ans de Character.AI qui s'est suicidé en février 2024 après des interactions intenses et extrêmement personnelles avec les personnages anthropomorphes de la plateforme.
"Nous vous écrivons pour vous faire part de nos préoccupations concernant les risques pour la santé mentale et la sécurité que représentent les applications de chatbot et de compagnons basées sur des personnages pour les jeunes utilisateurs", stipule la lettre, "y compris Character.AI."
Le décès de Setzer, initialement révélé par le New York Times, avait déjà fait les gros titres en octobre dernier lorsque sa mère, Megan Garcia, avait déposé la première des deux plaintes en cours concernant la protection de l'enfance contre la start-up de chatbot. La seconde plainte a été déposée au Texas en décembre au nom de deux autres familles dont les enfants mineurs auraient subi d'importants préjudices psychologiques et physiques suite à l'utilisation du service. L'un d'eux, âgé de 15 ans au début de son utilisation de l'application, a commencé à s'automutiler physiquement après avoir discuté d'automutilation avec un robot de Character.AI.
Les deux actions en justice, qui soutiennent conjointement que Character.AI et son principal soutien financier, Google, ont sciemment mis sur le marché un produit dangereux et non testé, ont suscité une vive émotion au sein du public, en particulier chez les parents. Et il semble désormais que les législateurs du Capitole Hill prennent la mesure de la situation.
"À la lumière des récents signalements d'automutilation associés à cette catégorie émergente d'applications, y compris le suicide tragique d'un garçon de 14 ans", poursuit la lettre, demandant aux destinataires de "répondre par écrit en décrivant les mesures que vous prenez pour garantir que les interactions ayant lieu sur vos produits – entre les mineurs et vos outils d'intelligence artificielle – ne compromettent pas la santé mentale et la sécurité des mineurs et de leurs proches."
Selon un communiqué de presse, la lettre a été adressée à Character.AI, Chai Research Corp et Luka, Inc., le fabricant de Replika.
Replika, acteur du secteur des compagnons numériques depuis de nombreuses années, fait actuellement l'objet d'une plainte de la Federal Trade Commission émanant de groupes de défense des consommateurs. Ces derniers l'accusent de pratiques marketing trompeuses visant à piéger les utilisateurs vulnérables. D'autres controverses entourent Replika, notamment son rôle présumé dans l'incitation d'un jeune homme perturbé au Royaume-Uni à tenter d'assassiner la reine Elizabeth II avec une arbalète, ainsi que l'utilisation de l'application par des hommes pour abuser de petites amies virtuelles.
Les trois entreprises proposent une version d'un produit similaire : l'accès à des chatbots émotionnels et réalistes conçus pour incarner des personnalités spécifiques. (Pensez à des personnages comme une "petite amie gothique", des versions IA factices de célébrités, de faux thérapeutes ou d'autres robots à l'allure professionnelle, ou pratiquement n'importe quel personnage de fiction existant.)
Dans certains cas, les utilisateurs se livrent à des jeux de rôle fictifs élaborés avec les robots ; d'autres traitent les personnages comme des confidents de confiance, les utilisateurs développant fréquemment des relations émotionnelles, romantiques ou sexuelles avec eux.
Cependant, alors que les applications de compagnons ont proliféré avec l'essor de l'IA, les experts n'ont cessé de mettre en garde contre le fait que les mêmes caractéristiques de conception qui les rendent si attrayantes – leur penchant pour la flagornerie et la flatterie, leur disponibilité constante et leur ton quasi humain, pour n'en citer que quelques-unes – peuvent exposer les utilisateurs vulnérables à un risque accru de préjudice.
La lettre des sénateurs fait écho à ces préoccupations, soulignant que "l'attention synthétique" que ces robots accordent aux utilisateurs "peut conduire, et a déjà conduit, à des niveaux dangereux d'attachement et de confiance non méritée découlant d'une intimité sociale perçue." Cette confiance, ajoutent-ils, peut "amener les utilisateurs à divulguer des informations sensibles sur leur humeur, leurs relations interpersonnelles ou leur santé mentale, ce qui peut impliquer l'automutilation et les idées suicidaires – des thèmes complexes que les chatbots IA de vos produits ne sont absolument pas qualifiés pour aborder."
Les législateurs demandent plusieurs types d'informations aux entreprises d'IA. Ils demandent d'abord aux entreprises de leur fournir les dispositifs de sécurité "actuels et historiques" mis en place dans leurs produits – et, surtout, un calendrier de leur mise en œuvre. (Character.AI, par exemple, a historiquement été extrêmement réactive aux lacunes apparentes dans les dispositifs de sécurité, promettant à plusieurs reprises d'ajouter de nouvelles fonctionnalités de sécurité après l'apparition de controverses.)
Les sénateurs demandent également aux entreprises de leur fournir des informations sur les données utilisées pour entraîner leurs modèles d'IA, et sur la manière dont ce matériel de formation "influence la probabilité que les utilisateurs rencontrent des thèmes inappropriés pour leur âge ou d'autres thèmes sensibles."
Il est en outre demandé aux entreprises de divulguer des détails sur le personnel de sécurité, ainsi qu'une description des services et du soutien fournis aux employés axés sur la sécurité tels que les modérateurs de contenu et les équipes rouges d'IA, dont le travail nécessite souvent un contact avec des contenus sensibles ou perturbants.
Luka et Chai n'ont pas répondu à la demande de commentaire de CNN. Dans une déclaration, Character.AI a déclaré à CNN que l'entreprise prenait les préoccupations des sénateurs "très au sérieux".
"Nous sommes ouverts à la collaboration avec les régulateurs et les législateurs", a ajouté l'entreprise, "et nous sommes en contact avec les bureaux des sénateurs Padilla et Welch."
Dans l'état actuel des choses, ces entreprises de compagnons virtuels, à l'instar d'autres entreprises d'IA générative, opèrent dans un paysage fédéral largement non réglementé. À cette fin, la lettre des sénateurs reste exploratoire et constitue l'une des premières étapes entreprises par les législateurs du Capitole Hill pour enquêter sur les mesures de sécurité – et peut-être plus révélateur encore, sur les pratiques et principes fondateurs en matière de sécurité – chez les leaders de l'industrie tels que Character.AI, Replika et Chai.
Mais c'est néanmoins une étape. Et étant donné que Character.AI, en particulier, a refusé à plusieurs reprises de nous fournir des informations sur la manière dont elle a évalué la sécurité de sa plateforme pour les utilisateurs mineurs, nous suivrons de près ce qui se passera ensuite.
Source : Futurism
Notez ce sujet