A OpenAI apresentou o Jalapeño, chip desenvolvido para cargas de inferência de inteligência artificial. Segundo a empresa, o processador foi criado para acelerar respostas de IA em escala e melhorar a eficiência nesse tipo de operação.
Os resultados citados no benchmark InferenceX, da SemiAnalysis, indicam ganhos em latência, throughput e eficiência. A descrição do teste informa que o Jalapeño registrou mais tokens por usuário e mais throughput por quilowatt do que sistemas atualmente disponíveis mencionados na comparação.
A OpenAI atribui o desempenho do Jalapeño ao foco do chip em inferência, etapa em que modelos de IA processam solicitações e geram respostas. As informações disponíveis associam o lançamento à busca por respostas mais rápidas e maior eficiência em cargas de IA em escala.
