- IA do Copilot Studio agora interage com telas e botões.
- Recurso automatiza tarefas em apps sem depender de APIs.
- Ferramenta detecta mudanças visuais e mantém processos ativos.
A Microsoft lançou um novo recurso para o Copilot Studio que promete mudar a forma como empresas utilizam inteligência artificial para automatizar tarefas digitais. A atualização, chamada “uso do computador”, permite que agentes de IA interajam diretamente com sites e aplicativos de desktop, mesmo quando não existe uma API disponível.
Segundo a publicação oficial, assinada por Charles Lamanna, vice-presidente corporativo da Microsoft, o objetivo é expandir as capacidades da IA em ambientes onde a integração tradicional não é viável.
O uso do computador permite que os agentes interajam com sites e aplicativos de desktop clicando em botões, selecionando menus e digitando em campos na tela. Isso permite que os agentes realizem tarefas mesmo quando não há uma API disponível para se conectar diretamente ao sistema. Se uma pessoa pode usar o aplicativo, o agente também pode.
Recurso do Copilot Studio entende a tela, não apenas o código
A funcionalidade transforma agentes do Copilot Studio em usuários digitais, capazes de operar sistemas com base em elementos visuais. Isso significa que empresas podem automatizar entrada de dados, processamento de faturas, pesquisas online ou reservas, sem depender da infraestrutura técnica do software original.
A IA consegue reconhecer botões, menus e campos de texto, além de se adaptar quando a interface muda. Mesmo que um botão mude de posição ou cor, a tecnologia continua funcionando sem interrupção, segundo a Microsoft.
Essa abordagem se assemelha aos recursos oferecidos por outras plataformas como o Operator, da OpenAI, ou o “uso do computador” do Claude, da Anthropic. Porém, a Microsoft promete acesso mais amplo e compatibilidade com uma variedade maior de sistemas, o que pode acelerar sua adoção corporativa.
Além disso, a empresa lançou recentemente o Copilot com Ações para consumidores, que já permite reservar restaurantes, comprar ingressos e fazer compras online com comandos de texto. Porém, essas funções ainda se limitam a parceiros específicos. O Copilot Studio, por outro lado, libera as ações para qualquer ambiente compatível com interação visual.
