Les Gen13 reposent sur des processeurs AMD EPYC de 6e génération, avec davantage de cœurs, des canaux mémoire plus larges et des améliorations des E/S de la plateforme qui réduisent la contention dans les tâches gourmandes en données. Le résultat ne se limite pas à de meilleurs scores dans les benchmarks synthétiques du CPU : la latence de fin de distribution s’améliore aussi pour les services qui effectuent fréquemment de petites inférences de modèles tout en générant un trafic mémoire et E/S important. Pour les charges d’IA qui alternent recherches d’embeddings, recherches de plus proches voisins et exécution légère de modèles, l’équilibre de la plateforme — CPU, mémoire et réseau — compte davantage que le débit brut des accélérateurs.

Certaines catégories de charges de travail restent particulièrement adaptées aux CPU : les petits modèles optimisés qui exécutent des inférences à haut débit de requêtes, les pipelines de génération augmentée par récupération (RAG), où les recherches d’embeddings et les requêtes aux bases vectorielles dominent le temps de réponse, et les orchestrateurs d’agents distribués qui lancent de nombreuses instances légères de modèles et gèrent les transitions d’état. Ces charges privilégient la prévisibilité, les performances à froid et la proximité des données. Les exécuter sur des serveurs ProLiant dotés de nombreux cœurs réduit la complexité entre les différentes couches et le coût opérationnel par requête, par rapport au surdimensionnement d’instances GPU pour chaque microservice.

Choisissez votre infrastructure en faisant correspondre le profil de charge aux coûts, aux exigences de latence et aux contraintes opérationnelles. Optez pour des serveurs de classe ProLiant pour une inférence prévisible, proche des données, et lorsque le débit soutenu renchérit les frais de transfert hors du cloud. Utilisez des GPU pour l’inférence de modèles fortement parallélisée et l’entraînement, lorsque les opérations matricielles dominent. Faites appel aux services gérés dans le cloud pour gagner rapidement en capacité, accéder à différentes versions de modèles ou éviter la gestion du cycle de vie matériel. En pratique, combinez ces options : hébergez sur site les services avec état et à faible latence ainsi que les bases vectorielles, puis déportez vers le cloud les pics d’entraînement ou l’inférence sur de grands lots.

L’investissement initial, la densité en rack, l’alimentation électrique et le refroidissement sont des considérations incontournables pour les serveurs sur site. Pourtant, les ProLiant Gen13 peuvent réduire le coût total des charges d’inférence stables et de recherche intensive en diminuant les coûts cloud par requête et les frais de transfert de données. Sur le plan opérationnel, ils offrent notamment un meilleur contrôle de la sécurité et de la latence, ainsi qu’une conformité plus simple à gérer. En contrepartie, il faut assurer la gestion du cycle de vie, planifier le renouvellement du matériel et disposer d’une observabilité plus solide pour suivre la dérive des modèles au sein des flottes d’agents distribuées et des bases vectorielles colocalisées avec les ressources de calcul.

Les Gen13 ne remplacent pas systématiquement les infrastructures GPU. Les grands modèles génératifs, l’inférence de transformers à grande échelle et la consolidation de plusieurs modèles nécessitent toujours des accélérateurs. Autre risque : dépendre d’une seule pile technologique pour le calcul et l’orchestration sans avoir validé les solutions de repli hybrides. Étapes concrètes : évaluez des flux de bout en bout représentatifs (génération d’embeddings, recherche, itérations des boucles d’agents), simulez les coûts selon les profils de trafic prévus et testez une architecture hybride qui conserve les données sensibles et les parcours à faible latence sur ProLiant, tout en faisant appel aux GPU cloud pour les pics d’activité et l’entraînement.