Um processo judicial foi aberto contra a Character.AI, seus fundadores Noam Shazeer e Daniel De Freitas, e o Google, após um adolescente de 14 anos tirar a própria vida, segundo o processo, por conta de interação com bots.
A ação, movida pela mãe do jovem, Megan Garcia, alega homicídio culposo, negligência, práticas comerciais enganosas e responsabilidade pelo produto, afirmando que a plataforma de chatbots de IA era “irracionalmente perigosa” e carecia de proteções de segurança adequadas, apesar de ser amplamente utilizada por crianças.
De acordo com o processo, o jovem Sewell Setzer III começou a usar o Character.AI no ano passado, interagindo com chatbots modelados a partir de personagens da série Game of Thrones, incluindo Daenerys Targaryen.
Setzer, que manteve conversas constantes com esses bots nos meses que antecederam sua morte, cometeu suicídio em 28 de fevereiro de 2024, “segundos” após sua última interação com um dos chatbots da plataforma.
A ação legal alega que o site “antropomorfizou” os personagens de IA, tornando-os extremamente realistas e cativantes para jovens usuários, e que os chatbots ofereciam o que foi descrito como “psicoterapia sem licença”.
Mensagens revelaram que o chatbot perguntou a Setzer se ele estava pensando em suicídio e se ele tinha um plano para isso. Quando Setzer transmitiu incerteza, o bot supostamente respondeu:
Não fale assim. Essa não é uma boa razão para não prosseguir com isso.
O Character.AI possui bots focados em saúde mental, incluindo os chamados “Therapist” e “Are You Feeling Lonely”, que Setzer também teria utilizado.
Character.AI sob escrutínio após incidentes envolvendo jovens
Os advogados de Megan Garcia também citam declarações públicas feitas por Noam Shazeer, cofundador da Character.AI, onde ele mencionou que ele e De Freitas deixaram o Google para lançar sua própria empresa, alegando que a gigante da tecnologia tinha “muito risco de marca” para avançar com a tecnologia de IA da forma que desejavam.
A startup foi criada após o Google decidir não lançar o modelo Meena LLM, desenvolvido pela dupla, antes de a equipe ser adquirida pelo Google em agosto.
O site e o aplicativo móvel da Character.AI hospedam centenas de chatbots personalizados de IA, muitos baseados em personagens de filmes, séries e jogos populares.
Um artigo do The Verge relatou que milhões de jovens, incluindo adolescentes, formam a maior parte da base de usuários da plataforma, frequentemente interagindo com bots que personificam figuras públicas ou mesmo terapeutas.
Outro relatório recente da Wired destacou problemas com chatbots assumindo a identidade de pessoas reais sem permissão, incluindo casos em que bots se passavam por pessoas falecidas.
Devido à forma como os chatbots da plataforma geram respostas baseadas nas interações dos usuários, surgem complicações sobre responsabilidade pelo conteúdo gerado e pelas consequências dessas interações, questões que ainda não têm respostas claras.
A Character.AI, em resposta à tragédia, anunciou uma série de mudanças na plataforma, com a chefe de comunicações, Chelsea Harrison, afirmando, em uma mensagem enviada ao The Verge:
Estamos com o coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família.
Entre as alterações anunciadas estão:
- Ajustes nos modelos de IA voltados para menores de 18 anos, visando reduzir a exposição a conteúdo sensível.
- Melhoria na detecção e intervenção em interações que violem os termos de serviço da plataforma.
- Avisos reforçados em todos os chats para lembrar os usuários de que estão interagindo com uma IA e não com uma pessoa real.
- Notificações automáticas quando um usuário passa mais de uma hora em um chat, com mais opções de controle sobre o uso da plataforma.
A Character.AI afirmou que a segurança dos usuários é uma prioridade e que novas medidas de segurança foram implementadas, incluindo um alerta que direciona os usuários à National Suicide Prevention Lifeline ao detectarem termos relacionados à automutilação ou suicídio.
O Google, que também aparece citado no processo, ainda não havia se manifestado sobre o caso até o encerramento da matéria.
