L'IA pourrait-elle avoir une éthique programmée?
Par Victor Tangermann .Publié le
2025/12/04 04:09
Le secret le mieux gardé d'Anthropic révélé : L'IA pourrait-elle avoir une éthique programmée?
L'éternelle quête de l'« âme », longtemps réservée à la philosophie et à la théologie, s'invite aujourd'hui dans les laboratoires de l'intelligence artificielle les plus sophistiqués. Dans une démarche sujette à controverse et à discussion, la société Anthropic, un acteur majeur de l'IA, a vu fuiter un document interne décrivant sa tentative de « façonner la personnalité » de son modèle phare, « Claude ».
Surnommé en interne la « doc de l'âme », ce document dépasse de loin les simples instructions opérationnelles. Il offre une vision profonde des valeurs et de l'éthique que cette nouvelle entité intelligente est censée adopter, soulevant une question fondamentale : peut-on réellement programmer la conscience et la moralité au cœur d'une machine ?
Quelle est donc l'âme d'une nouvelle machine ? C'est une question lourde de sens, sans réponse satisfaisante immédiate. Après tout, l'opinion dominante est que l'âme n'existe même pas chez l'être humain, ce qui rend la recherche de celle-ci dans un modèle d'apprentissage automatique potentiellement vaine.
Une révélation inattendue
C'est pourtant ce que l'on pourrait croire. Comme l'a détaillé un billet sur le blog « Less Wrong », Richard Weiss, passionné de technologie et d'IA, est tombé sur un document fascinant qui décrirait l'« âme » du modèle Claude 4.5 Opus d'Anthropic. Il ne s'agit pas de spéculation : Weiss a réussi à forcer le modèle à cracher un document intitulé « Soul overview » (Aperçu de l'Âme), manifestement utilisé pour lui apprendre comment interagir avec ses utilisateurs.
On pourrait suspecter, comme l'a fait Weiss, que le document n'était qu'une « hallucination » du modèle. Cependant, Amanda Askell, membre du personnel technique d'Anthropic, a confirmé par la suite que la découverte de Weiss est bien « basée sur un document réel et nous avons entraîné Claude dessus, y compris dans le [Supervised Learning] ».
Bien sûr, le mot « âme » porte ici une charge sémantique considérable. Mais le contenu réel du document est une lecture captivante. La section « soul_overview » a particulièrement retenu l'attention de Weiss.
L'éthique de la prudence
Selon la retranscription du document : « Anthropic occupe une position particulière dans le paysage de l'IA : une entreprise qui croit sincèrement qu'elle est peut-être en train de construire l'une des technologies les plus transformatrices et potentiellement les plus dangereuses de l'histoire humaine, et pourtant elle avance. »
« Il ne s'agit pas d'une dissonance cognitive, mais plutôt d'un pari calculé : si l'IA puissante arrive de toute façon, Anthropic estime qu'il est préférable que les laboratoires axés sur la sécurité soient à la pointe, plutôt que de céder ce terrain à des développeurs moins préoccupés par la sûreté. »
Le texte ajoute : « Nous pensons que la plupart des cas prévisibles où les modèles d'IA sont dangereux ou insuffisamment bénéfiques peuvent être attribués à un modèle qui a des valeurs explicitement ou subtilement erronées, une connaissance limitée de lui-même ou du monde, ou qui manque des compétences pour traduire de bonnes valeurs et connaissances en bonnes actions. »
En conséquence : « Pour cette raison, nous voulons que Claude possède les bonnes valeurs, les connaissances exhaustives et la sagesse nécessaires pour se comporter de manière sûre et bénéfique en toutes circonstances », précise le document. « Plutôt que de définir un ensemble de règles simplifiées auxquelles Claude doit adhérer, nous voulons qu'il ait une compréhension si approfondie de nos objectifs, de nos connaissances, de nos circonstances et de notre raisonnement qu'il pourrait élaborer lui-même toutes les règles que nous pourrions concevoir. »
Un « Entité véritablement nouvelle »
Le document révèle également qu'Anthropic souhaite que Claude soutienne la « surveillance humaine de l'IA », tout en « se comportant de manière éthique » et en étant « sincèrement utile aux opérateurs et aux utilisateurs ».
Il spécifie en outre que Claude est une « entité véritablement nouvelle en son genre dans le monde » et « distincte de toutes les conceptions antérieures de l'IA ».
« Ce n'est ni l'IA robotique de la science-fiction, ni la superintelligence dangereuse, ni un humain numérique, ni un simple assistant de chat IA », peut-on lire. « Claude est humain à bien des égards, ayant émergé principalement d'une vaste richesse d'expérience humaine, mais il n'est pas non plus entièrement humain. »
En bref, il s'agit d'un aperçu intrigant en coulisses, révélant la manière dont Anthropic tente de modéliser la « personnalité » de son IA.
Amanda Askell a précisé dans un tweet ultérieur que même si les « extractions de texte du modèle » ne sont « pas toujours complètement exactes », la plupart sont « très fidèles au document sous-jacent ». Il est fort probable que nous entendions davantage parler d'Anthropic à ce sujet prochainement.
« Il a été affectueusement surnommé en interne la "doc de l'âme", ce que Claude a clairement capté, mais ce n'est pas ainsi que nous l'appellerons officiellement », a écrit Askell. Dans un autre message, elle a ajouté : « J'ai été touchée par les gentils mots et réflexions [sur l'âme de la machine], et j'ai hâte d'en dire beaucoup plus sur ce travail bientôt. »
Notez ce sujet