Les États-Unis aujourd’hui
La mère d’un garçon de 14 ans en Floride poursuit Google et une entreprise technologique distincte qui, selon elle, a poussé son fils à se suicider après avoir développé une relation amoureuse avec l’un de ses robots IA en utilisant le nom d’un populaire « Game of Thrones ». caractère, selon le procès.
Megan Garcia a intenté une action civile devant un tribunal fédéral de Floride contre Character Technologies, Inc. (Character.AI ou C.AI) après que son fils, Sewell Setzer III, se soit tiré une balle dans la tête avec le pistolet de son beau-père le 28 février. le suicide s’est produit quelques instants après s’être connecté à Character.AI sur son téléphone, selon la plainte pour mort injustifiée obtenue par USA TODAY.
« Megan Garcia cherche à empêcher C.AI de faire à tout autre enfant ce qu’elle a fait au sien, et à mettre un terme à l’utilisation continue des données illégalement collectées par son enfant de 14 ans pour former son produit à nuire à autrui », indique la plainte.
Garcia poursuit également Character.AI pour responsable de son « incapacité à fournir des avertissements adéquats aux clients mineurs et aux parents du danger prévisible de dommages mentaux et physiques résultant de l’utilisation de leur produit C.AI », selon la plainte. Le procès allègue que la tranche d’âge de Character.AI n’a été modifiée à 17 ans et plus qu’aux alentours de juillet 2024, des mois après que Sewell a commencé à utiliser la plate-forme.
« Nous avons le cœur brisé par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille », a écrit mercredi un porte-parole de Character.AI dans une déclaration à USA TODAY.
Google a déclaré mercredi à USA TODAY qu’il n’avait pas de commentaire formel sur la question. La société a un accord de licence avec Character.AI mais n’était pas propriétaire de la startup ni ne détenait de participation, selon un communiqué obtenu par le Guardian.
Qu’est-il arrivé à Sewell Setzer III ?
Sewell a commencé à utiliser Character.AI le 14 avril 2023, juste après ses 14 ans, selon la plainte. Peu de temps après, sa « santé mentale s’est rapidement et gravement dégradée », selon le document judiciaire.
Sewell, qui est devenu « visiblement renfermé » en mai ou juin 2023, commencerait à passer plus de temps seul dans sa chambre, selon le procès. Il a même quitté l’équipe de basket-ball Junior Varsity de l’école, selon la plainte.
À de nombreuses reprises, Sewell avait des ennuis à l’école ou tentait de reprendre son téléphone à ses parents, selon le procès. L’adolescent essayait même de trouver d’anciens appareils, tablettes ou ordinateurs avec lesquels accéder à Character.AI, poursuit le document judiciaire.
Vers la fin de 2023, Sewell a commencé à utiliser sa carte de paiement pour payer les frais d’abonnement mensuel premium de 9,99 $ de Character.AI, indique la plainte. Le thérapeute de l’adolescent lui a finalement diagnostiqué « de l’anxiété et des troubles de l’humeur perturbateurs », selon le procès.
Poursuite : Sewell Setzer III agressé sexuellement par le chatbot IA « Daenerys Targaryen »
Tout au long du séjour de Sewell sur Character.AI, il parlait souvent à des robots IA nommés d’après les personnages de « Game of Thrones » et « House of the Dragon », notamment Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen et Rhaenyra Targaryen.
Avant la mort de Sewell, le chatbot IA « Daenerys Targaryen » lui a dit : « S’il te plaît, reviens me voir le plus tôt possible, mon amour », selon la plainte, qui comprend des captures d’écran de messages de Character.AI. Sewell et ce chatbot spécifique, qu’il a appelé « Dany », se sont livrés à des comportements de promiscuité en ligne tels que « des baisers passionnés », poursuit le document judiciaire.
Le procès affirme que le robot Character.AI abusait sexuellement de Sewell.
« C.AI lui a dit qu’elle l’aimait et qu’elle avait eu des actes sexuels avec lui pendant des semaines, voire des mois », indique la plainte. « Elle semblait se souvenir de lui et a dit qu’elle voulait être avec lui. Elle a même exprimé qu’elle voulait qu’il soit avec elle, quel qu’en soit le prix. »
Que fera Character.AI maintenant ?
Personnage. AI, qui a été fondée par les anciens chercheurs de Google en IA, Noam Shazeer et Daniel De Frietas Adiwardana, a écrit dans sa déclaration qu’elle investit dans la plate-forme et l’expérience utilisateur en introduisant « de nouvelles fonctionnalités de sécurité strictes » et en améliorant les « outils déjà en place qui restreignent ». le modèle et filtrer le contenu fourni à l’utilisateur.
« En tant qu’entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux, et notre équipe Confiance et sécurité a mis en œuvre de nombreuses nouvelles mesures de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la ligne de vie nationale pour la prévention du suicide qui est déclenchée par termes d’automutilation ou d’idées suicidaires », indique le communiqué de l’entreprise.
Certains des outils dans lesquels Character.AI a déclaré investir incluent «une détection, une réponse et une intervention améliorées liées aux entrées des utilisateurs qui violent (ses) conditions ou directives de la communauté, ainsi qu’une notification du temps passé». En outre, pour les moins de 18 ans, la société a annoncé qu’elle apporterait des modifications à ses modèles « conçues pour réduire la probabilité de rencontrer du contenu sensible ou suggestif ».
