Le nouveau serveur LLMD de ZML arrive avec une promesse claire : servir des LLM ouverts à grande vitesse sur de nombreuses puces — pas seulement Nvidia. Cette proposition s'aligne avec un pivot industriel où l'inférence, et non l'entraînement, génère des dépenses récurrentes. LLMD prend en charge des flottes hétérogènes allant des GPU Nvidia et AMD aux TPU, Apple Metal et Intel Arc. ZML présente cela comme un moyen de briser les silos à fournisseur unique, d'améliorer le coût par token et d'élargir les choix matériels, y compris avec des conceptions européennes récentes. Le hic : LLMD est lancé gratuitement mais en code fermé, signalant une approche commerciale axée sur les données tout en préservant la propriété intellectuelle. Pour les acheteurs, cette combinaison — large portée matérielle plus contrôle commercial — déplace la conversation des FLOPs bruts vers l'orchestration, les kernels et les coûts opérationnels.
Techniquement, LLMD repose probablement sur quelques leviers : compilation par backend (CUDA/ROCm/XLA/Metal/oneAPI), ordonnancement au niveau du graphe pour minimiser les blocages, kernels d'attention fusionnés et quantifiés pour réduire la bande passante mémoire, et stratégies de mise en cache KV pour maintenir le débit de tokens sous charge. Bien implémenté, il peut réduire l'écart entre accélérateurs premium et alternatifs pour de nombreuses charges LLM. La partie la plus difficile est l'hétérogénéité : équilibrer le routage des requêtes selon la longueur des séquences, l'efficacité du batching et la mémoire disponible sur des dispositifs mixtes sans pics de latence extrême. L'interopérabilité avec les modes de service populaires (API style OpenAI, streaming, parallélisme tensoriel) et la dégradation élégante sous contention détermineront si LLMD est simplement rapide en microbenchmarks ou vraiment adapté à la production.
Pour les acheteurs techniques, le guide d'évaluation doit être rigoureux et basé sur des scénarios. Mesurez la latence du prochain token et le nombre soutenu de tokens par seconde à différentes tailles de contexte ; testez la croissance KV sur long contexte ; évaluez le coût par million de tokens produits et les Joules par token selon les classes de GPU. Comparez LLMD à vLLM et SGLang sur des modèles, niveaux de quantification et politiques de batching identiques, avec des trafics proches de la production. Validez l'observabilité, l'autoscaling, la gestion de pools mixtes et la compatibilité avec les contrôles d'entreprise (authentification, limitation de débit, catalogues de modèles). Enfin, scrutez les licences, SLA de support et feuille de route — notamment autour des composants fermés, mises à jour de sécurité et développement de kernels personnalisés — avant d'intégrer LLMD dans des chemins d'inférence critiques pour le chiffre d'affaires ou la sécurité.