Gen13 se basa en procesadores AMD EPYC de 6.ª generación, con más núcleos, canales de memoria más amplios y mejoras en la E/S de la plataforma que reducen la contención en tareas intensivas en datos. El resultado no se limita a mejores puntuaciones en pruebas sintéticas de CPU: también mejora la latencia de cola larga de los servicios que realizan inferencias de modelos pequeñas y frecuentes, junto con un tráfico intenso de memoria y E/S. En las cargas de trabajo de IA que alternan búsquedas de embeddings, búsquedas de vecinos más cercanos y ejecución ligera de modelos, el equilibrio de la plataforma —CPU, memoria y red— importa más que el rendimiento bruto de los aceleradores.

Hay categorías de cargas de trabajo que siguen siendo claramente aptas para CPU: modelos pequeños y optimizados que ejecutan inferencias con un alto número de QPS; canalizaciones de generación aumentada por recuperación (RAG) en las que las búsquedas de embeddings y las consultas a bases de datos vectoriales dominan el tiempo de respuesta; y orquestadores de agentes distribuidos que lanzan muchas instancias ligeras de modelos y gestionan transiciones de estado. Estas cargas priorizan la previsibilidad, el rendimiento en arranques en frío y la localidad de los datos. Ejecutarlas en servidores ProLiant con muchos núcleos reduce la complejidad de la pila y el coste operativo por consulta frente a aprovisionar instancias GPU sobredimensionadas para cada microservicio.

Elige la infraestructura relacionando el perfil de la carga de trabajo con los costes, la latencia y las restricciones operativas. Usa servidores de clase ProLiant para inferencias previsibles con datos locales y cuando un rendimiento sostenido encarezca la salida de datos a la nube. Recurre a GPU para la inferencia y el entrenamiento de modelos con alto paralelismo, donde predominan las operaciones matriciales. Aprovecha los servicios gestionados en la nube cuando necesites escalar rápidamente, utilizar distintas versiones de modelos o evitar la gestión del ciclo de vida del hardware. En la práctica, combina las opciones: aloja localmente los enrutadores con estado y baja latencia y los almacenes vectoriales, y traslada a la nube los picos de entrenamiento o las inferencias por lotes grandes.

La inversión inicial, la densidad de los racks, la energía y la refrigeración son factores inevitables en los servidores locales. Sin embargo, ProLiant Gen13 puede reducir el coste total de las cargas de inferencia constantes y de recuperación intensiva al disminuir los costes de nube por consulta y las tarifas de transferencia de datos. Entre las ventajas operativas figuran un mayor control de la seguridad y la latencia, además de un cumplimiento normativo más sencillo. Las contrapartidas son la gestión del ciclo de vida, la renovación periódica del hardware y la necesidad de contar con una observabilidad más sólida para supervisar la deriva de los modelos en flotas de agentes distribuidas y almacenes vectoriales próximos a los recursos de cómputo.

Gen13 no sustituye de forma generalizada a la infraestructura GPU. Los modelos generativos grandes, la inferencia de transformadores a gran escala y la consolidación de varios modelos siguen requiriendo aceleradores. Otro riesgo es depender de la pila de un único proveedor tanto para el cómputo como para la orquestación sin validar las alternativas híbridas. Próximos pasos prácticos: comparar flujos representativos de extremo a extremo (generación de embeddings, recuperación e iteraciones del ciclo de los agentes), simular los costes según los patrones de tráfico previstos y probar una topología híbrida que mantenga los datos sensibles y las rutas de baja latencia en ProLiant, mientras utiliza GPU en la nube para los picos y el entrenamiento.