Ý tưởng cốt lõi của NeoMME là sự tiết chế kiến trúc nhằm phục vụ truy xuất. Một Transformer hai chiều duy nhất tiếp nhận các token văn bản đa ngôn ngữ cùng với các mảnh ảnh thô 32×32, loại bỏ tháp thị giác riêng biệt và bộ giải mã nhân quả thường thấy trong các mô hình VLM. Được huấn luyện từ đầu với mục tiêu khử nhiễu có mặt nạ, biến thể 260M trả về các embedding dày đặc và tương tác muộn trong một lần chạy. Thực tế, điều này có nghĩa là ít bộ phận chuyển động hơn khi suy luận, giới hạn độ trễ chặt chẽ hơn và dễ dàng mở rộng hơn. Với đầu vào 2048×2048 tương ứng, mô hình mã hóa khoảng 51 trang mỗi giây trên L40S — gấp khoảng hai lần tốc độ của các bộ truy xuất tài liệu hình ảnh phổ biến — đồng thời giữ chất lượng truy xuất cạnh tranh cho các pipeline tìm kiếm thực tế và RAG.

Tại sao điều này quan trọng với tìm kiếm doanh nghiệp? Hầu hết các pipeline tài liệu vẫn dựa vào OCR để trích xuất các đoạn văn bản, rồi cố gắng tái tạo ngữ nghĩa bố cục trang ở bước sau. NeoMME đảo ngược điều đó: nó truy xuất trực tiếp trên ảnh trang, giữ nguyên bảng biểu, đồ thị và các dấu hiệu kiểu chữ mà OCR thường làm phẳng. Thiết kế hai đầu cho phép linh hoạt trong quy trình làm việc: dùng vector dày đặc để truy xuất nhanh qua ANN, rồi áp dụng tương tác muộn để bắt các khớp token-vùng mà không cần tải mô hình thứ hai. Với cửa sổ ngữ cảnh 16k, độ phân giải ảnh động và các tính năng mã hóa hiện đại, NeoMME tập trung ngân sách tham số vào nơi truy xuất có lợi nhất: ngữ cảnh dài, tài liệu độ phân giải cao và truy vấn đa ngôn ngữ.

Độ chính xác tương tác muộn trước đây đi kèm với chi phí lưu trữ cao. Trang độ phân giải cao có thể tạo ra hàng nghìn vector mỗi tài liệu và chiếm dung lượng chỉ mục hàng megabyte mỗi trang. NeoMME giảm thiểu điều này bằng cách kết hợp gom token theo cấp bậc (giảm số lượng vector) và lượng tử hóa bất đối xứng (nén vector tài liệu mạnh hơn vector truy vấn). Với các cấu hình đo lường, dung lượng giảm từ khoảng megabyte mỗi trang xuống còn vài chục kilobyte — thậm chí chỉ còn khoảng 6 kB mỗi trang trong cấu hình nén mạnh — đồng thời giữ lại phần lớn chất lượng truy xuất cơ sở. Bài học rút ra: bạn có thể sử dụng tương tác muộn ở nơi cần thiết, ngay cả khi mở rộng quy mô, mà không làm vỡ ngân sách lưu trữ.

Với người xây dựng, phép tính triển khai thay đổi. Tốc độ lập chỉ mục gần 51 trang mỗi giây trên mỗi GPU rút ngắn đáng kể thời gian tìm kiếm cho kho lưu trữ lớn và giảm chi phí làm mới dữ liệu liên tục. Một lần chạy tiến cho ra cả embedding dày đặc và tương tác muộn, giúp bạn chuẩn hóa pipeline và hoãn các đánh đổi đến lớp chỉ mục. Tinh chỉnh với Sentence Transformers cho các đầu dày đặc hoặc tương tác muộn chuyên biệt theo miền, hoặc giữ checkpoint tổng quát và dựa vào nén để cân bằng chi phí và độ liên quan. Trong RAG hình ảnh, truy xuất ảnh trang trước, rồi chuyển các trang top-k cho VLM chỉ để tạo câu trả lời — chuyển phần lớn công việc nặng sang bộ mã hóa nhẹ, chuyên cho truy xuất.