- Alta taxa de erro: Chatbots falham em 60% das respostas.
- Desinformação preocupante: IAs erram com confiança, podendo enganar leitores.
- Verificação essencial: Checagem humana ainda é necessária no jornalismo digital.
Uma pesquisa conduzida pela Columbia Journalism Review (CJR) revelou que chatbots de inteligência artificial erram em 60% das respostas. A análise envolveu oito modelos populares, incluindo ChatGPT, Perplexity e Grok.
Os pesquisadores notaram que, além dos erros frequentes, as IAs demonstram alta confiança nas respostas erradas. Esse fator pode aumentar a disseminação de informações imprecisas.
Metodologia do estudo
Os pesquisadores testaram os chatbots com 200 solicitações, pedindo informações sobre notícias. As respostas foram classificadas entre completamente corretas, parcialmente erradas ou totalmente equivocadas.
Além disso, algumas ferramentas se recusaram a responder quando não tinham certeza das informações. Esse comportamento foi observado principalmente no Copilot, da Microsoft.
Taxas de erro entre os chatbots
O Perplexity, em sua versão gratuita, teve a melhor taxa de acerto, errando 37% das respostas. Em contrapartida, o Grok-3, do X (antigo Twitter), teve a pior performance, errando em 94% dos casos.
As versões pagas dos chatbots tiveram um desempenho um pouco melhor, mas também apresentaram respostas incorretas com alta confiança. Isso levanta preocupações sobre sua confiabilidade.
Desafios e impactos da IA no jornalismo
Os pesquisadores destacaram o risco da desinformação gerada por essas ferramentas. Além disso, quando os chatbots erram, fazem isso de maneira convincente, o que pode enganar leitores desavisados.
O uso dessas tecnologias em portais de notícias exige verificações humanas constantes. Dessa forma, é possível minimizar equívocos e garantir maior precisão nas informações divulgadas.
