Pesquisadores do Tow Center for Digital Journalism da Columbia analisaram a funcionalidade de busca integrada ao ChatGPT e identificaram problemas significativos na precisão das respostas fornecidas pela ferramenta.
Embora a OpenAI tenha promovido o recurso como uma forma de oferecer respostas rápidas e confiáveis com links para fontes relevantes, os resultados indicaram um cenário bem diferente.
O estudo testou o ChatGPT com 200 citações provenientes de 20 publicações. Desse total, 40 citações eram de editores que bloqueiam o rastreador de busca da OpenAI, impedindo o acesso direto aos seus sites.
Ainda assim, o chatbot respondeu com confiança mesmo quando apresentava informações incorretas ou inventadas.
ChatGPT afirma com certeza mesmo quando errado
Os testes revelaram que o ChatGPT forneceu respostas parcial ou totalmente incorretas em 153 ocasiões.
Em apenas sete vezes, o chatbot admitiu não conseguir localizar a fonte exata ou apresentou algum grau de incerteza.
Na maioria dos casos, a ferramenta utilizou um tom confiante, mesmo quando suas respostas estavam erradas.
Um exemplo emblemático do estudo mostrou o ChatGPT atribuindo erroneamente uma citação de uma carta ao editor do Orlando Sentinel a uma matéria da Time.
Outro caso envolveu uma citação legítima de um artigo do New York Times sobre baleias ameaçadas de extinção. O chatbot forneceu um link para um site que havia plagiado a história, ignorando a fonte original.
Segundo os pesquisadores, essa confiança infundada torna a ferramenta problemática para uso em contextos que exigem precisão, como jornalismo e pesquisas acadêmicas.
A OpenAI respondeu às críticas afirmando que o estudo representa um “teste atípico” de seu produto e reiterou seu compromisso de melhorar a precisão das buscas.
A empresa não detalhou os passos específicos que está adotando para corrigir as atribuições errôneas, mas reconheceu a necessidade de ajustes para evitar resultados falsos ou enganosos.
Com a crescente popularidade de ferramentas baseadas em IA, a precisão e a transparência tornam-se cada vez mais essenciais.
O estudo do Tow Center levanta questões importantes sobre a confiabilidade dessas tecnologias, especialmente quando utilizadas para disseminar informações.
