Notícias Gerais da Indústria de IAMonitoramento da Pilha de Inferência

A Investida da Infinity para Desbancar a CUDA: Uma Camada Universal de Inferência para Qualquer Chip de IA

A Infinity está construindo uma pilha de inferência alternativa à CUDA que gera e ajusta automaticamente kernels de baixo nível em diversos aceleradores, visando tornar a implantação de modelos portátil e mais barata. Com novo financiamento e parceiros iniciais de chips, ela mira o fosso de software da Nvidia — e o aperto de custo e capacidade enfrentado pelos construtores de IA.

NexusAI Editorial21/07/20261.7K visualizações9 min de leitura

A Investida da Infinity para Desbancar a CUDA: Uma Camada Universal de Inferência para Qualquer Chip de IA

Resumo de IA

A Infinity busca uma camada universal de inferência que escreve e otimiza kernels automaticamente para que o mesmo modelo possa rodar eficientemente em chips heterogêneos. Se funcionar em escala, isso enfraquece o bloqueio da Nvidia com CUDA ao transferir custos de troca do tempo do desenvolvedor para automação de software. O resultado estratégico: fornecedores de chips e operadores de nuvem podem desbloquear capacidade ociosa, e empresas ganham alavancagem em preço/desempenho sem reescrever modelos. A lente prática é tokens por segundo e latência por dólar em cargas-alvo, não microbenchmarks. Espere ganhos iniciais em operadores e formatos de modelo específicos, com roadmap para cobertura mais ampla e determinismo. Compras devem tratar isso como serviço de otimização com potencial mensurável, não uma plataforma baseada em licença.

A Infinity está mirando uma das vantagens mais duradouras da Nvidia: a atração de desenvolvedores da CUDA. Em vez de perseguir o silício bruto, está construindo uma camada de software que escreve e ajusta os kernels de baixo nível necessários para inferência, permitindo que modelos rodem eficientemente em GPUs, aceleradores especializados e NPUs de borda. Com uma nova rodada de financiamento e parceiros iniciais de chips, a empresa posiciona sua pilha como um motor de portabilidade que comprime meses de otimização manual em horas ou dias. A promessa não é elegância teórica; é transformar hardware heterogêneo em capacidade prática — reduzindo custo, latência e dependência de fornecedores para equipes que não podem arcar com engenharia de kernel sob medida.

Tecnicamente, a abordagem da Infinity se concentra em um ciclo agente que gera, testa e melhora iterativamente variantes de kernel para operadores e grafos de modelo-alvo. Mede taxa de transferência (tokens por segundo), latência p99 e uso de memória, então reescreve automaticamente caminhos de código para explorar o escalonamento, hierarquia de memória e conjunto de instruções de cada chip. O produto final se assemelha a uma biblioteca universal de inferência: um registro de operadores portáteis, templates de kernel e heurísticas aprendidas que generalizam entre arquiteturas. Crucialmente, o sistema visa auto-otimização — adaptando-se conforme novos modelos, esquemas de quantização e aceleradores surgem — para que o ganho de desempenho se acumule ao longo do tempo em vez de estagnar após as primeiras vitórias.

Para compradores, a implicação é alavancagem. Hoje, a maioria das pilhas de inferência padrão usa Nvidia porque os pipelines PyTorch e TensorFlow são centrados em CUDA e o custo de portar é alto. Uma camada cross-chip confiável muda o cálculo: fornecedores de chips podem expor seu silício sem forçar clientes a reescrever código, provedores de nuvem podem misturar frotas para equilibrar preço/desempenho, e empresas podem testar alternativas durante apertos de capacidade. Espere tração inicial onde os conjuntos de operadores são mais estreitos e previsíveis — serviço de LLMs em produção com famílias de modelos estáveis, perfis de quantização e formatos de lote — antes da paridade geral com a vasta biblioteca da CUDA ser viável.

O risco de execução permanece real. Portabilidade só vale a pena se preservar a precisão e entregar ganhos repetíveis no tráfego de produção. As equipes devem tratar a Infinity como um parceiro de otimização com SLAs claros vinculados a KPIs de carga de trabalho: tokens/segundo alvo na latência p99 e custo por milhão de tokens em hardware específico. Um piloto robusto inclui auditorias de cobertura de operadores, verificações de correção com conjunto dourado, testes A/B canários e caminhos de rollback. Se o ganho no nível do modelo for material, o modelo de precificação por participação na receita ligado à melhoria de desempenho pode ser atraente em comparação a licenças fixas. Caso contrário, a CUDA permanece o padrão. O sucesso aqui será decidido por benchmarking disciplinado, telemetria transparente e fechamento rápido do roadmap de operadores.

Principais conclusões

Portabilidade Pode Desbloquear Capacidade

Uma camada cross-chip de inferência reduz custos de troca, permitindo que equipes usem capacidade não Nvidia sem reescrever modelos — valioso durante escassez de GPUs e picos de custo.

Meça de Ponta a Ponta, Não Microbenchmarks

Faça benchmark em tráfego semelhante ao de produção com tokens/segundo, latência p99 e limites de deriva de precisão. Vitórias de operadores só importam se se traduzirem em ganhos no nível do SLA.

Compre por Resultados

Vincule contratos a KPIs de carga e SLAs de regressão. Participação na receita sobre melhorias verificadas de desempenho/custo pode superar licenças fixas quando o ganho é incerto.

Como Funciona a Camada Universal de Inferência

O pipeline da Infinity ingere um grafo de modelo, identifica operadores críticos e explora candidatos a kernel ajustados para hardware-alvo. Aprende estratégias de escalonamento (tiling, vetorização, coalescência de memória), compila variantes e as avalia sob tamanhos de lote e comprimentos de sequência realistas. Kernels vencedores são armazenados em uma biblioteca portátil de operadores. Em tempo de execução, um despachante seleciona kernels ótimos por perfil de hardware e telemetria ao vivo. Com o tempo, a biblioteca expande para cobrir mais operações (atenção, multiplicações matriciais, normalizações de camada, ativações fundidas) e modos de quantização (INT8, FP8, precisão mista). O resultado é um caminho repetível do código do modelo para kernels eficientes no chip sem implementações específicas escritas à mão pelo fornecedor.

Por Que Isso Importa Agora

A inferência está superando o treinamento como o centro de custo dominante para muitos produtos de IA, e a capacidade permanece desigual entre nuvens e colocation. Empresas querem usar aceleradores alternativos, mas faltam especialistas em kernel para alcançar desempenho próximo ao do silício. A maturidade da CUDA mantém cargas presas à Nvidia mesmo quando opções mais baratas ou com capacidade próxima existem. Uma camada cross-chip reduz custos de troca, desbloqueia frotas ociosas e pressiona fornecedores por desempenho por dólar em vez de apenas participação da mente do desenvolvedor. Para líderes financeiros e operacionais, isso cria um caminho mais claro para governança orçamentária — comparando taxa total em metas de confiabilidade em hardware diverso, não apenas preços ou microbenchmarks.

Quem se Beneficia — e Como Pilotar

Startups de chips ganham uma rampa de software para cargas reais; nuvens podem flexionar para frotas heterogêneas; empresas podem diversificar fornecedores sem refatorar modelos. Um piloto pragmático: escolha dois modelos relevantes para produção (ex.: um LLM sensível à latência para chat e um reranker de alto throughput em lote), defina critérios de aceitação (tokens/segundo na p99, custo/milhão de tokens, deriva de precisão <0,1%) e teste em dois alvos não Nvidia mais uma baseline CUDA. Exija ganchos de observabilidade para atribuição por operador, aplique execuções determinísticas para checagens de regressão e rode tráfego canário por uma semana antes da escala. O sucesso é medido em endpoints SLA, não em kernels sintéticos.

Riscos, Lacunas e O Que Observar

Três riscos merecem atenção: cobertura de operadores, correção e velocidade de manutenção. O ecossistema CUDA tem cobertura de uma década e kernels altamente ajustados; igualar sua amplitude levará tempo. A correção deve se manter sob quantização, atenção de contexto longo e operações fundidas — use conjuntos dourados e tráfego sombra para detectar deriva. A manutenção exige acompanhar arquiteturas de modelo e roadmaps de silício em rápida mudança. Compras devem esclarecer termos de IP para kernels gerados, governança de dados para telemetria usada no ajuste e cláusulas de saída se o desempenho regredir. Trate alegações de “paridade com CUDA” com ceticismo sem evidência end-to-end na sua exata carga de tráfego.

Recomendações de Fluxo de Trabalho e Métricas Importantes

Adote um ambiente padrão de avaliação: unifique tokenização, batching e caching entre backends; fixe precisão; e capture telemetria por operador. Acompanhe tokens/segundo, latência p50/p95/p99, stalls de cauda, margem de memória e custo/milhão de tokens. Use um log auditável de kernels para comparar variantes e garantir rollbacks. Para velocidade de engenharia, prefira pilhas que exportem manifestos de cobertura de operadores e suportem formatos comuns de modelo (ONNX, exportação PyTorch). Construa um RFP em torno de cobertura mínima de operadores, garantias de determinismo, SLAs de regressão e cadência de roadmap. Priorize chips onde kernels iniciais entreguem ganhos expressivos — depois expanda cobertura uma vez que confiabilidade e automação estejam comprovadas.

Perguntas frequentes

Como devemos avaliar a Infinity em relação a uma baseline CUDA?

Selecione dois modelos relevantes para produção, fixe precisão e formatos de lote, e execute A/B/C entre CUDA e dois alvos não Nvidia. Exija manifestos de cobertura de operadores, verificações de correção com conjunto dourado e uma semana de tráfego canário. Decida por tokens/segundo na p99 e custo/milhão de tokens — não microbenchmarks de kernel.

Quais termos contratuais reduzem risco se o desempenho regredir?

Use precificação baseada em resultados vinculada a KPIs verificados da carga, inclua direitos de rollback, exija logs auditáveis de kernel e garantias de determinismo, e estabeleça SLAs de regressão com créditos. Garanta clareza de IP para kernels gerados e tratamento de dados da telemetria de desempenho.

Isso pode ajudar na borda em CPUs ou NPUs?

Sim, se a cobertura de operadores e kernels conscientes de memória corresponderem às restrições do seu dispositivo. Pilote com seu esquema exato de quantização e comprimentos de sequência, verifique estabilidade térmica sob carga e defina metas de latência por classe de dispositivo antes de comprometer-se com implantações grandes.