Usuários maliciosos estão abusando de ferramentas de Inteligência Artificial para criar músicas homofóbicas, racistas e propagandísticas – e publicando guias instruindo outras pessoas sobre como fazê-lo.
Segundo o ActiveFence, um serviço de gestão de operações de confiança e segurança em plataformas online, desde março deste ano, tem havido um aumento nas conversas em comunidades relacionadas ao discurso de ódio, sobre maneiras de usar indevidamente essas ferramentas para escrever músicas ofensivas dirigidas a grupos minoritários.
De acordo com o ActiveFence, as canções geradas pela IA compartilhadas nesses fóruns e discussões visam incitar o ódio contra grupos étnicos, de gênero, raciais e religiosos, além de celebrar atos de martírio, automutilação e terrorismo.
Embora músicas odiosas e prejudiciais não sejam um fenômeno novo, o medo é que, com o advento de ferramentas gratuitas e fáceis de usar, essas músicas possam ser produzidas em grande escala por pessoas que antes não tinham os meios ou o conhecimento para fazê-lo, algo que se assemelha à forma como a IA tem acelerado a propagação da desinformação e do discurso de ódio.
- Leia também: Startup japonesa vai começar testes em humanos de medicamento para crescimento de dentes
Criando músicas de ódio
Ferramentas musicais generativas de IA, como Udio e Suno, permitem que os usuários adicionem letras personalizadas às músicas geradas. Embora as plataformas filtrem calúnias e termos pejorativos comuns, os usuários descobriram soluções alternativas.
Em um exemplo citado no relatório, usuários de fóruns de supremacia branca compartilharam grafias fonéticas parecidas com ofensas para contornar os filtros de conteúdo. Alguns usuários sugeriram alterar o espaçamento e a grafia ao se referir a atos de violência, o que também funciona em alguns casos.
A ActiveFence destaca que músicas carregam um peso emocional que as torna uma força especialmente potente para grupos de ódio e guerras políticas. Um porta-voz disse:
“A IA torna o conteúdo prejudicial mais atraente – imagine alguém pregando uma narrativa prejudicial sobre uma determinada população e depois criando uma música rimada que torna mais fácil para todos cantar e lembrar.”
Músicas geradas pela IA com fins ofensivos podem seguir os passos de outros conteúdos criados artificialmente. A Wired documentou no início deste ano como um clipe de Adolf Hitler manipulado por IA acumulou mais de 15 milhões de visualizações no X, depois de ser compartilhado por um influenciador de conspiração de extrema direita.
Entre outros especialistas, um órgão consultivo da ONU manifestou preocupação com o fato de conteúdos racistas, anti-semitas, islamofóbicos e xenófobos serem amplificados pela IA generativa.
