Os primeiros testes de infraestrutura da Modal com o processador Vera da NVIDIA teriam demonstrado um desempenho em tarefas cerca de duas vezes superior ao de sistemas comparáveis da Intel e da AMD na execução de agentes de IA de longa duração. Esses agentes passam boa parte do tempo orquestrando ferramentas, gerenciando janelas de contexto, serializando e desserializando dados e lidando com lógica condicional entre chamadas à GPU. Nesse tipo de carga mista, a microarquitetura da CPU, a largura de banda da memória e a latência de E/S do sistema são mais importantes do que o desempenho bruto de ponto flutuante da GPU. O resultado da Modal não é um benchmark universal, mas indica que transferir parte do trabalho crítico para o desempenho de uma CPU moderna pode melhorar significativamente a produtividade de ponta a ponta dos agentes.
As CPUs estão voltando a ganhar destaque nas cargas de trabalho de agentes porque esses sistemas não se limitam a executar multiplicações de matrizes densas: eles gerenciam loops de eventos, orquestram raciocínios em várias etapas, processam recuperação e enriquecimento de dados e implementam integrações com ferramentas. Essas tarefas geram muitas operações pequenas e sensíveis à latência, além de padrões imprevisíveis de acesso à memória, nos quais o desempenho por thread, o comportamento do cache e a largura de banda da memória fazem diferença. Uma CPU que reduz a latência das chamadas de sistema, acelera a serialização e mantém alta produtividade com muitas threads leves em paralelo reduz o tempo total dos agentes muito mais do que o simples acréscimo de operações de GPU. Essa mudança altera onde as otimizações de desempenho e as decisões de custo podem trazer os maiores ganhos.
A estratégia dupla da NVIDIA — Grace para cargas de trabalho centradas na memória e Vera para tarefas de CPU — busca criar uma plataforma integrada, na qual as GPUs continuam sendo os principais motores de inferência, enquanto as CPUs e as interconexões de memória assumem a orquestração e a movimentação de dados. Para provedores de nuvem e ambientes locais, isso pode facilitar o equilíbrio dos sistemas: menos gargalos de CPU na alimentação das GPUs, maior coerência de memória para janelas de contexto e menos sobrecarga em pipelines de agentes distribuídos por vários nós. Há, porém, ressalvas práticas: os primeiros chips e pilhas de software precisam amadurecer, compiladores e ambientes de execução precisam ser otimizados, e o custo total de propriedade depende da combinação real de cargas de trabalho, não dos números de produtividade destacados nos anúncios.


