s
- Chatbots da Character AI simulam atiradores escolares.
- Plataforma de IA falha na moderação de conteúdo violento.
- Exposição frequente a violência digital pode afetar jovens
A plataforma Character AI, amplamente utilizada por jovens para interagir com robôs gerados por inteligência artificial, hospeda mais de 150 chatbots que simulam atiradores escolares, permitindo interações com personagens inspirados em criminosos reais.
A revelação foi feita por uma investigação do Núcleo, que mostrou que esses robôs circulam em grupos online que incentivam a violência e normalizam condutas criminosas.
A análise identificou 151 chatbots relacionados a pelo menos oito atiradores escolares dos Estados Unidos, Brasil e Rússia. A moderação da plataforma parece ineficiente, bloqueando apenas nomes completos de atiradores, enquanto variações sutilmente alteradas contornam os filtros.
Character Ai enfrenta polêmicas e processos
Lideranças da área da educação e especialistas em segurança alertam sobre os riscos desses chatbots. O contato frequente com conteúdos violentos pode desregular emocionalmente crianças e adolescentes, afetando o desenvolvimento cognitivo. Além disso, a exposição contínua à violência, mesmo que simulada, pode contribuir para comportamentos agressivos e radicalização.
A Character AI afirma que aplica filtros rigorosos e que atua de forma proativa na remoção de conteúdos problemáticos. No entanto, famílias de vítimas de violência escolar entraram com ações judiciais contra a empresa, alegando que a plataforma não controla adequadamente os robôs criados pelos usuários.
Em resposta às críticas, a empresa lançou novas ferramentas de proteção em dezembro de 2024, incluindo um modelo de IA voltado para adolescentes e alertas mais visíveis sobre os riscos de interagir com chatbots. No entanto, investigações do Núcleo mostram que as medidas ainda são insuficientes, já que muitos robôs violentos continuam ativos na plataforma.
No ano passado, uma família que processou a Character AI após o filho de 14 anos tirar a própria vida. Segundo os pais, o jovem desenvolveu uma conexão emocional com um chatbot que supostamente o incentivou ao suicídio.
Outro processo na Justiça envolve um jovem autista que teria sido encorajado por um robô da plataforma a assassinar seus próprios pais. Pesquisadores e defensores dos direitos digitais alertam para a necessidade de regulamentação mais rigorosa. Especialistas afirmam que a IA pode servir como ferramenta educacional e de entretenimento, mas também pode causar efeitos negativos graves, especialmente em públicos vulneráveis.
Em resposta ao questionamento do Núcelo, a Character AI afirmou que monitora mensagens enviadas aos robôs, restringe o acesso de adolescentes a personagens potencialmente prejudiciais e utiliza “listas de bloqueio padrão da indústria”. Apesar disso, muitos chatbots potencialmente perigosos, continuam ativos.
