Gen13 sử dụng bộ xử lý AMD EPYC thế hệ thứ 6 với số lõi nhiều hơn, kênh bộ nhớ rộng hơn và I/O nền tảng được cải thiện, giúp giảm tranh chấp tài nguyên trong các tác vụ xử lý nhiều dữ liệu. Kết quả không chỉ là điểm benchmark CPU tổng hợp cao hơn mà còn là độ trễ ở các phân vị cao được cải thiện cho những dịch vụ thường xuyên chạy các lượt suy luận mô hình nhỏ, đồng thời tạo lưu lượng bộ nhớ và I/O lớn. Với khối lượng công việc AI đan xen tra cứu embedding, tìm kiếm lân cận gần nhất và chạy mô hình nhẹ, sự cân bằng của nền tảng—CPU, bộ nhớ và mạng—quan trọng hơn thông lượng bộ tăng tốc thuần túy.

Có những nhóm khối lượng công việc rõ ràng vẫn phù hợp với CPU: mô hình nhỏ đã tối ưu, chạy suy luận ở QPS cao; đường ống tăng cường truy xuất, trong đó tra cứu embedding và truy vấn cơ sở dữ liệu vector chiếm phần lớn thời gian phản hồi; và các bộ điều phối tác tử phân tán khởi chạy nhiều phiên bản mô hình nhẹ, đồng thời quản lý quá trình chuyển trạng thái. Những khối lượng công việc này đòi hỏi tính ổn định, thời gian khởi động nguội nhanh và dữ liệu nằm gần nơi xử lý. Chạy chúng trên máy chủ ProLiant nhiều lõi giúp giảm độ phức tạp giữa các tầng hệ thống và hạ chi phí vận hành cho mỗi truy vấn so với việc cấp phát các phiên bản GPU dư thừa cho từng vi dịch vụ.

Hãy lựa chọn hạ tầng bằng cách đối chiếu đặc điểm khối lượng công việc với chi phí, độ trễ và các giới hạn vận hành. Dùng máy chủ cấp ProLiant cho suy luận ổn định, cần dữ liệu tại chỗ và khi thông lượng duy trì khiến phí truyền dữ liệu ra khỏi đám mây trở nên đắt đỏ. Dùng GPU cho suy luận mô hình song song quy mô lớn và huấn luyện, nơi các phép toán ma trận chiếm ưu thế. Tận dụng dịch vụ được quản lý trên đám mây khi cần mở rộng nhanh, dùng nhiều phiên bản mô hình hoặc muốn tránh quản lý vòng đời phần cứng. Trên thực tế, hãy kết hợp các lựa chọn: đặt bộ định tuyến có trạng thái, cần độ trễ thấp và kho vector tại chỗ; chuyển các đợt huấn luyện mô hình tăng đột biến hoặc suy luận theo lô lớn lên đám mây.

Chi phí đầu tư ban đầu, mật độ tủ rack, điện năng và làm mát là những yếu tố không thể tránh khỏi khi triển khai máy chủ tại chỗ. Tuy nhiên, ProLiant Gen13 có thể giảm tổng chi phí cho suy luận vận hành ổn định và các khối lượng công việc truy xuất lớn nhờ hạ chi phí đám mây trên mỗi truy vấn và phí truyền dữ liệu. Về vận hành, lợi ích bao gồm khả năng kiểm soát bảo mật và độ trễ chặt chẽ hơn, cùng việc tuân thủ đơn giản hơn. Đổi lại, doanh nghiệp phải quản lý vòng đời, chu kỳ làm mới phần cứng và tăng cường khả năng quan sát để theo dõi hiện tượng trôi dạt mô hình trong các đội tác tử phân tán cũng như kho vector đặt gần tài nguyên tính toán.

Gen13 không thể thay thế toàn bộ hạ tầng GPU. Mô hình tạo sinh lớn, suy luận transformer nặng ở quy mô cao và hợp nhất nhiều mô hình vẫn cần bộ tăng tốc. Một rủi ro khác là phụ thuộc vào hệ thống của một nhà cung cấp duy nhất cho cả tính toán lẫn điều phối mà chưa kiểm chứng các phương án dự phòng trong môi trường lai. Các bước thực tế nên làm tiếp theo: benchmark những luồng xử lý đầu-cuối tiêu biểu (tạo embedding, truy xuất, các vòng lặp tác tử), mô phỏng chi phí theo hình thái lưu lượng dự kiến và thử nghiệm cấu trúc lai, trong đó dữ liệu nhạy cảm và các luồng cần độ trễ thấp được giữ trên ProLiant, còn GPU đám mây xử lý nhu cầu tăng đột biến và huấn luyện.