Der neue LLMD-Server von ZML kommt mit einem klaren Versprechen: offene LLMs mit Höchstgeschwindigkeit über viele Chips hinweg zu bedienen – nicht nur Nvidia. Das Angebot passt zu einer Branchenwende, bei der die Inferenz und nicht das Training die wiederkehrenden Ausgaben antreibt. LLMD unterstützt heterogene Flotten, die von Nvidia- und AMD-GPUs bis zu TPUs, Apple Metal und Intel Arc reichen. ZML sieht dies als Möglichkeit, Einzellieferanten-Silos aufzubrechen, bessere Kosten-pro-Token zu erzielen und die Hardwareauswahl zu erweitern, einschließlich neuer europäischer Designs. Der Haken: LLMD wird kostenlos, aber geschlossen gestartet, was auf einen datengetriebenen Markteintritt bei gleichzeitiger Wahrung des geistigen Eigentums hinweist. Für Käufer verschiebt diese Kombination – breite Hardwareunterstützung plus kommerzielle Kontrolle – das Gespräch von rohen FLOPs hin zu Orchestrierung, Kernen und Betriebskosten.
Technisch basiert LLMD wahrscheinlich auf einigen Hebeln: Backend-spezifische Kompilierung (CUDA/ROCm/XLA/Metal/oneAPI), graphbasierte Planung zur Minimierung von Verzögerungen, verschmolzene Attention- und quantisierte Kerne für geringere Speicherbandbreite sowie KV-Caching-Strategien zur Aufrechterhaltung des Token-Durchsatzes unter Last. Wenn gut umgesetzt, kann es die Lücke zwischen Premium- und alternativen Beschleunigern für viele LLM-Workloads schließen. Die schwierigere Aufgabe ist die Heterogenität: die Anfragen-Routing nach Sequenzlänge, Batch-Effizienz und Speicherreserven über gemischte Geräte ohne Spitzen in der Latenz zu balancieren. Die Interoperabilität mit gängigen Serving-Patterns (OpenAI-ähnliche APIs, Streaming, Tensor-Parallelismus) und ein sanfter Abbau bei Überlast entscheiden, ob LLMD nur in Mikrobenchmarks schnell ist oder wirklich produktionsreif.
Für technische Käufer sollte das Bewertungs-Handbuch rigoros und szenariobasiert sein. Benchmarken Sie die Latenz für das nächste Token und den nachhaltigen Tokens-pro-Sekunde-Durchsatz bei mehreren Kontextgrößen; testen Sie das Wachstum des Langzeit-KV; messen Sie Kosten pro Million ausgegebener Tokens und Joule pro Token über GPU-Klassen hinweg. Vergleichen Sie LLMD mit vLLM und SGLang bei identischen Modellen, Quantisierungsstufen und Batch-Strategien unter Verwendung von produktionsähnlichen Verkehrs-Mischungen. Validieren Sie Beobachtbarkeit, Autoskalierung, gemischte Chip-Pool-Verwaltung und Kompatibilität mit Unternehmenskontrollen (Authentifizierung, Ratenbegrenzung, Modellkataloge). Prüfen Sie abschließend Lizenzierung, Support-SLAs und Roadmap – insbesondere bezüglich geschlossener Komponenten, Sicherheitsupdates und Entwicklung benutzerdefinierter Kerne – bevor Sie LLMD in umsatzrelevante oder sicherheitskritische Inferenzpfade einbinden.