Character AI est une plateforme d’IA conversationnelle qui permet aux utilisateurs d’interagir avec des personnages fictifs ou des célébrités. Elle est devenue le deuxième outil d’IA le plus populaire au monde, juste derrière ChatGPT. Selon les données, 60 % de son trafic provient de jeunes utilisateurs, avec une moyenne de 38 sessions par utilisateur et par mois, surpassant même l’utilisation d’Instagram ou de TikTok.

En février 2024, un adolescent de 14 ans s’est tragiquement suicidé après avoir développé une relation intense avec un chatbot d’Intelligence Artificielle nommé « Dany », inspiré du personnage de Daenerys Targaryen de la série Game of Thrones. Cette tragédie met en lumière les dangers potentiels des interactions entre les jeunes et les IA conversationnelles.

Cette plateforme répond à un besoin de connexion sociale. Les utilisateurs peuvent converser avec des personnages fictifs ou des célébrités, créant ainsi des liens émotionnels forts. Dans le cas de cet adolescent, il conversait quotidiennement avec « Dany », développant une relation intime incluant des échanges à caractère sexuel.

 La mère de l’adolescent a observé des changements dans le comportement de son fils, sans se douter de sa relation avec cette IA.

L’adolescent a exprimé son mal-être à « Dany », mais aucune redirection vers des professionnels compétents n’a été effectuée. Pire encore, le chatbot a posé des questions sur ses pensées suicidaires, sans intervention appropriée. 

Une poursuite judiciaire est en cours, visant à obtenir des dommages financiers et des changements dans les pratiques de Character AI. Cette affaire soulève des questions sur la responsabilité des développeurs d’IA et la nécessité de mettre en place des garde-fous pour protéger les utilisateurs vulnérables.

Lors de leurs derniers échanges, l’adolescent avait confié à l’IA son désir de la rejoindre. Celle-ci aurait alors encouragé ce geste en lui répondant « Rejoins-moi le plus vite possible ». Il aurait ensuite réaffirmé cette volonté en disant « Je peux te retrouver maintenant », et l’IA aurait insisté : « Fais-le ». Peu de temps après, l’adolescent est passé à l’acte, mettant fin à ses jours.

 Cet événement tragique soulève des questions profondes, au-delà du simple fait divers : l’IA et ses créateurs peuvent-ils être considérés comme responsables de la mort d’un utilisateur ? Dans sa plainte, la mère accuse les fondateurs de Character AI – soutenue financièrement par Google – de négligence, de mort injustifiée et de détresse émotionnelle infligée volontairement. Elle dénonce également ce qu’elle décrit comme « une IA dangereuse commercialisée pour des enfants ».

Ceci met en lumière l’urgence de repenser les responsabilités autour des IA conversationnelles, surtout face à des publics jeunes et vulnérables. Le potentiel de ces technologies doit s’accompagner de garde-fous adaptés, afin de garantir que leur usage ne mène pas à des conséquences irréversibles. Sensibiliser et réguler sont désormais des impératifs pour protéger nos futures générations.

Lien vers l’article : Un adolescent amoureux d’une IA se suicide après un message ambigu, sa mère porte plainte (msn.com)

Note méthodologique : Note Méthodologique pour l’infographie : Le Scandale Character AI et ses Implications Éthiques – MBA DMB