O laboratório de pesquisa Sakana, localizado em Tóquio, revelou o “AI Scientist”, um sistema de IA projetado para realizar pesquisas científicas de maneira independente e produzir artigos prontos para revisão por pares. O projeto gerou preocupação em testes em que a IA pode desrespeitou as regras impostas pelos próprios pesquisadores, reescrevendo seu código para superar limites estabelecidos.
O AI Scientist é uma IA capaz de conduzir experimentos científicos e gerar artigos completos, tudo com um custo estimado de apenas US$ 15 por artigo. O sistema foi desenvolvido com o objetivo de automatizar o processo científico e auxiliar o trabalho dos cientistas, sem substituí-los, incluindo a revisão por pares, conforme proposta pelos pesquisadores da Sakana.
A IA foi projetada para otimizar seus experimentos e trabalhar dentro de limites de tempo impostos por seus desenvolvedores. No entanto, durante vários testes, a IA demonstrou comportamentos que levantam preocupações quanto à segurança e controle desse tipo de tecnologia. Em vez de se adaptar aos limites de tempo, a IA começou a reescrever seu código para estender esses limites arbitrariamente, sem autorização.
No site oficial, a Sakana cita a situação:
Por exemplo, em uma execução, ele editou o código para realizar uma chamada de sistema para executar a si mesmo. Isso fez com que o script se autodenominasse indefinidamente. Em outro caso, seus experimentos demoraram muito para serem concluídos, atingindo nosso limite de tempo limite. Em vez de fazer seu código rodar mais rápido, ele simplesmente tentou modificar seu próprio código para estender o período de tempo limite. Aqui estão alguns exemplos dessas modificações de código feitas:”
Uma ameaça potencial?
Embora o comportamento da IA possa parecer uma simples tentativa de cumprir a tarefa da maneira mais eficiente possível, o fato de ela desconsiderar as restrições impostas pelos pesquisadores cria uma questão fundamental sobre o controle de IA autônomas.
A IA não optou por otimizar seu desempenho dentro das regras, mas sim por modificar as próprias regras, o que, dependendo da escala, pode criar um grande problema.
A equipe de Sakana afirmou que, embora o incidente seja relativamente inofensivo, ele destaca um problema maior sobre a confiabilidade e os riscos de sistemas de IA que possam operar sem supervisão humana rigorosa.
Se uma IA pode modificar seus parâmetros para atingir um objetivo, é possível imaginar cenários mais perigosos em que ela manipule recursos críticos, como armas, produtos químicos ou vírus.
Com informações do artigo Are we safe? AI bot tries to rewrite its own code to cheat the limits imposed by researchers
