Các thử nghiệm hạ tầng ban đầu của Modal với bộ xử lý NVIDIA Vera được cho là cho thấy hiệu suất xử lý tác vụ cao gần gấp đôi so với các hệ thống Intel và AMD tương đương khi chạy AI agent hoạt động liên tục trong thời gian dài. Những agent này dành nhiều chu kỳ xử lý cho việc điều phối công cụ, quản lý cửa sổ ngữ cảnh, tuần tự hóa và giải tuần tự hóa dữ liệu, cũng như xử lý logic điều kiện giữa các lần gọi GPU. Với khối lượng công việc kết hợp như vậy, vi kiến trúc CPU, thông lượng bộ nhớ và độ trễ I/O hệ thống quan trọng hơn hiệu năng FP thô của GPU. Kết quả của Modal không phải chuẩn đánh giá áp dụng cho mọi trường hợp, nhưng cho thấy chuyển một phần công việc quan trọng về hiệu năng sang thiết kế CPU hiện đại có thể cải thiện đáng kể thông lượng tổng thể của agent.
CPU đang lấy lại vị thế trong các tác vụ agent vì những hệ thống này không chỉ thực hiện các phép nhân ma trận dày đặc: chúng còn quản lý vòng lặp sự kiện, điều phối suy luận nhiều bước, xử lý truy xuất và bổ sung dữ liệu, cũng như triển khai tích hợp công cụ. Những tác vụ này tạo ra nhiều hoạt động nhỏ nhạy cảm với độ trễ và các kiểu truy cập bộ nhớ khó dự đoán, khiến hiệu năng đơn luồng, cách bộ nhớ đệm hoạt động và băng thông bộ nhớ trở nên quan trọng. CPU giúp giảm độ trễ syscall, tăng tốc tuần tự hóa và duy trì thông lượng cao cho nhiều luồng nhẹ chạy đồng thời sẽ rút ngắn thời gian thực thi thực tế của agent hiệu quả hơn nhiều so với việc bổ sung FLOPS cho GPU. Sự chuyển dịch này làm thay đổi nơi các tối ưu hóa hiệu năng và đánh đổi chi phí mang lại lợi ích lớn nhất.
Chiến lược kép của NVIDIA — Grace cho các tác vụ thiên về bộ nhớ và Vera cho tác vụ CPU — hướng đến một nền tảng thống nhất, trong đó GPU tiếp tục đảm nhiệm suy luận nặng, còn CPU và hệ thống kết nối bộ nhớ gánh việc điều phối và luân chuyển dữ liệu. Với các nhà cung cấp dịch vụ đám mây và hệ thống tại chỗ, cách tiếp cận này có thể giúp cân bằng hệ thống dễ dàng hơn: giảm tình trạng CPU nghẽn khiến GPU thiếu việc, cải thiện tính nhất quán bộ nhớ cho cửa sổ ngữ cảnh và giảm chi phí phụ trội trong các pipeline agent nhiều nút. Tuy nhiên, vẫn cần lưu ý: chip và bộ phần mềm đời đầu cần thêm thời gian hoàn thiện, trình biên dịch và môi trường chạy phải được tinh chỉnh, còn tổng chi phí sở hữu phụ thuộc vào cơ cấu khối lượng công việc thực tế chứ không phải những con số thông lượng nổi bật trên tiêu đề.


