EmbeddingGemma 2 là bước tiến thiết thực, hướng đến nhà phát triển, trên con đường xây dựng tính năng tìm kiếm đa phương thức thực sự riêng tư. Với 740 triệu tham số và giấy phép Apache 2.0, mô hình được thiết kế chuyên biệt để suy luận ngay trên thiết bị: kết hợp lõi nhỏ gọn với các bộ mã hóa mô-đun tùy chọn, giúp các nhóm điều chỉnh quy mô phù hợp với nhu cầu chỉ xử lý văn bản hoặc đa phương thức đầy đủ. Sự kết hợp giữa giấy phép linh hoạt và kích thước thực tiễn giúp giảm rào cản đưa các tính năng dựa trên embedding vào ứng dụng tiêu dùng, tác tử doanh nghiệp và hệ thống RAG ưu tiên xử lý cục bộ — những trường hợp không thể gửi dữ liệu đa phương tiện của người dùng lên dịch vụ đám mây.
Xét về kỹ thuật, EmbeddingGemma 2 nổi bật nhờ hai cách tối ưu hiệu suất có liên quan với nhau. Thứ nhất, kiến trúc mô-đun cho phép triển khai chỉ xử lý văn bản với khoảng 270 triệu tham số, đồng thời có thể bổ sung bộ mã hóa hình ảnh và âm thanh khi cần. Thứ hai, Học biểu diễn Matryoshka (MRL) cho phép rút gọn vector từ 768 xuống còn 512, 256 hoặc 128 chiều, giảm dung lượng lưu trữ trong cơ sở dữ liệu vector cục bộ đến 6 lần. Với các nhóm phát triển sản phẩm, điều này giúp giảm áp lực lên dung lượng lưu trữ và bộ nhớ của thiết bị mà không cần xây dựng các quy trình lập chỉ mục riêng cho vector độ phân giải thấp và cao.
Về chất lượng, mô hình đạt kết quả vượt trội so với quy mô của mình trên các bài đánh giá văn bản, mã, hình ảnh và âm thanh. Google cho biết mô hình cải thiện đáng kể khả năng embedding mã và đạt chất lượng ngang các mô hình lớn hơn trong tác vụ thị giác và âm thanh. Nhờ đó, EmbeddingGemma 2 đặc biệt hữu ích cho việc truy xuất của tác tử lập trình và tìm kiếm đa phương tiện hợp nhất. Vì dùng chung bộ tokenizer và bộ mã hóa âm thanh với các mô hình Gemini lớn hơn, mô hình dễ dàng tích hợp vào quy trình RAG, trong đó mô hình tạo sinh đảm nhiệm suy luận còn embedding phụ trách truy xuất.
Với người làm thực tế, giá trị của mô hình thể hiện ở những việc cụ thể: tìm kiếm ngữ nghĩa trong ghi âm giọng nói, xác định chính xác đoạn video bằng truy vấn văn bản ngắn hoặc lập chỉ mục cơ sở mã ngay trên thiết bị. Các chỉ số triển khai trên thiết bị cũng khả thi — trọng số đã lượng tử hóa có thể chạy trong vài trăm megabyte RAM trên những thiết bị cao cấp phổ biến — còn ngữ cảnh mở rộng 8K token cho phép cùng một quy trình embedding xử lý các đoạn âm thanh dài hơn và đầu vào đa phương thức xen kẽ mà không phải thường xuyên cắt ngắn. Sự đơn giản này giúp giảm khối lượng công việc kỹ thuật khi xây dựng các tính năng coi trọng quyền riêng tư.