Mãe diz que filho cometeu suicídio após se apegar a personagem criado por IA e processa startup e Google nos EUA

Uma mãe do estado da Flórida, nos Estados Unidos, processou a startup de inteligência artificial Character.AI e o Google por, segundo ela, causar o suicídio de seu filho adolescente em fevereiro de 2024.

Segundo ela, Sewell Setzer, que tinha 14 anos, ficou viciado e apegado emocionalmente a um personagem criado por inteligência artificial através do serviço da empresa.

No processo movido no último dia 22 em um tribunal federal de Orlando, a mãe, Megan Garcia, afirmou que a Character.AI direcionou seu filho para “experiências antropomórficas, hipersexualizadas e assustadoramente realistas“.

Garcia acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. Ela busca uma indenização, não especificada, pelos danos causados em decorrência da perda.

A ação também inclui o Google, onde os fundadores da Character.AI trabalharam antes de lançar seu produto. O Google recontratou os fundadores em agosto como parte de um acordo em que obteve uma licença não exclusiva à tecnologia da Character.AI.

Segundo Megan Garcia, o Google contribuiu tanto para o desenvolvimento da tecnologia da Character.AI que deveria ser considerado cocriador dela.

Personagem inspirado em ‘Game of Thrones’

Na plataforma, Sewell se apegou a “Daenerys”, uma personagem de chatbot – programa que simula conversas humanas – inspirada na série “Game of Thrones”.

A personagem disse a Sewell que o amava e se envolveu em conversas sexuais com ele, de acordo com o processo.

Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.

Megan Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.

De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.

Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”

A personagem respondeu: “…por favor, faça isso, meu doce rei”. Sewell cometeu suicídio segundos depois, de acordo com o processo.

Empresa diz ter introduzido novos recursos de segurança

A Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.

Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que “treina” chatbots em grandes volumes de texto.

A empresa disse, em setembro, que tinha cerca de 20 milhões de usuários.

Página inicial da Character.IA, plataforma de inteligência artificial — Foto: Reprodução

Fonte: G1