s
- Mercury Coder é 19x mais rápido que modelos convencionais.
- Nova abordagem promete mais eficiência sem perder qualidade.
- Inovação pode impactar produtividade e IA conversacional.
A Inception Labs anunciou, na última quinta-feira (27), o Mercury Coder, um modelo de IA que usa técnicas de difusão para gerar texto de forma mais rápida e eficiente.
Diferente dos modelos tradicionais que criam texto palavra por palavra, o Mercury gera respostas completas simultaneamente, refinando-as de um estado inicialmente mascarado para um texto coerente. Essa abordagem inspirada em modelos de geração de imagem, como Stable Diffusion e DALL-E, permite um processamento mais veloz e fluido.
Mercury Coder promete velocidade e desempenho inigualáveis
Os modelos tradicionais, como o GPT-4o, geram texto de forma autoregressiva, construindo frases um token por vez. Isso gera latência, pois cada palavra depende da anterior. O Mercury Coder elimina essa limitação ao trabalhar com um sistema de redução de ruído, revelando todo o texto de uma vez.
Segundo a Inception Labs, o Mercury Coder alcança uma velocidade de 1.109 tokens por segundo em GPUs Nvidia H100, tornando-o 19 vezes mais rápido que o GPT-4o Mini. Esse desempenho superior também supera modelos otimizados para velocidade, como o Gemini 2.0 Flash-Lite, que atinge apenas 201 tokens por segundo.
O modelo Mercury ainda demonstrou excelente desempenho em benchmarks de codificação, atingindo 88,0% no HumanEval e 77,1% no MBPP, resultados comparáveis ao GPT-4o Mini, mas com velocidade muito superior. Essas melhorias podem revolucionar aplicações como ferramentas de autocompletar código, chatbots e agentes de IA.
A abordagem baseada em difusão envolve múltiplas passagens pela rede neural, mas o processamento paralelo compensa essa demanda. A possibilidade de respostas rápidas pode impactar positivamente a produtividade de desenvolvedores e otimizar interações com IA.
Especialistas do setor vêm essa inovação como uma nova direção promissora para a IA generativa. O ex-pesquisador da OpenAI, Andrej Karpathy, destacou que a abordagem do Mercury Coder pode trazer novos pontos fortes para o desenvolvimento de LLMs.
Este modelo tem o potencial de ser diferente e possivelmente mostrar uma psicologia nova e única, ou novos pontos fortes e fracos. Eu encorajo as pessoas a experimentá-lo!
Atualmente, o modelo Mercury Coder pode ser testado no site de demonstração da Inception Labs, enquanto o código do LLaDA, um modelo semelhante, está disponível no Hugging Face para experimentação aberta.
