Infinity vise l’un des avantages les plus durables de Nvidia : l’attraction des développeurs autour de CUDA. Plutôt que de courir après le silicium brut, elle construit une couche logicielle qui écrit et ajuste les noyaux bas niveau nécessaires à l’inférence, permettant aux modèles de fonctionner efficacement sur GPU, accélérateurs spécialisés et NPU en périphérie. Avec un nouveau tour de financement et des partenaires puces précoces, l’entreprise positionne sa pile comme un moteur de portabilité qui compresse des mois d’optimisation manuelle en heures ou jours. La promesse n’est pas une élégance théorique ; c’est de transformer le matériel hétérogène en capacité pratique — réduisant coût, latence et verrouillage fournisseur pour des équipes qui ne peuvent pas se permettre une ingénierie de noyaux sur mesure.

Techniquement, l’approche d’Infinity repose sur une boucle agentique qui génère, teste et améliore itérativement des variantes de noyaux pour les opérateurs cibles et les graphes de modèles. Elle mesure le débit (tokens par seconde), la latence p99 et l’empreinte mémoire, puis réécrit automatiquement les chemins de code pour exploiter la planification, la hiérarchie mémoire et le jeu d’instructions de chaque puce. Le produit final ressemble à une bibliothèque d’inférence universelle : un registre d’opérateurs portables, de modèles de noyaux et d’heuristiques apprises qui se généralisent à travers les architectures. Crucialement, le système vise l’auto-optimisation — s’adaptant à l’apparition de nouveaux modèles, schémas de quantification et accélérateurs — de sorte que l’amélioration des performances s’accumule dans le temps plutôt que de stagner après les gains initiaux.

Pour les acheteurs, l’implication est un levier. Aujourd’hui, la plupart des piles d’inférence par défaut utilisent Nvidia car les pipelines PyTorch et TensorFlow sont centrés sur CUDA et le coût du portage est élevé. Une couche crédible multi-puces change la donne : les fournisseurs de puces peuvent exposer leur silicium sans forcer les clients à réécrire le code, les fournisseurs cloud peuvent mixer et assortir les flottes pour équilibrer prix/performance, et les entreprises peuvent tester les alternatives lors des pics de capacité. Attendez-vous à une traction précoce là où les ensembles d’opérateurs sont plus étroits et prévisibles — service LLM en production avec des familles de modèles stables, profils de quantification et formes de lots — avant qu’une parité générale avec la vaste bibliothèque CUDA soit réalisable.

Le risque d’exécution reste réel. La portabilité n’a de valeur que si elle préserve la précision et offre des gains reproductibles sur le trafic de production. Les équipes doivent considérer Infinity comme un partenaire d’optimisation avec des SLA clairs liés aux KPI au niveau de la charge de travail : tokens/seconde cible à la latence p99 et coût par million de tokens sur un matériel spécifique. Un pilote robuste inclut des audits de couverture d’opérateurs, des vérifications de correction sur des ensembles de référence, des canaris A/B et des chemins de retour en arrière. Si l’amélioration au niveau du modèle est significative, la tarification au partage des revenus liée à l’amélioration des performances peut être attractive par rapport aux licences fixes. Sinon, CUDA reste la norme. Le succès ici sera décidé par un benchmarking rigoureux, une télémétrie transparente et une clôture rapide de la feuille de route des opérateurs.