Muse Glimmer của Meta là một mô hình mở với 30 tỷ tham số, được xây dựng để cung cấp sức mạnh cho các đại lý cá nhân luôn hoạt động trên máy Mac hoặc PC của bạn. Nó chấp nhận văn bản và hình ảnh, được đào tạo trên hơn 100 ngôn ngữ, cho phép các trợ lý có thể phân tích ảnh chụp màn hình, soạn thảo tin nhắn, quản lý tệp và phối hợp các tác vụ đa bước. Quan trọng là, Glimmer được thiết kế để chạy trên một GPU tiêu dùng đơn lẻ, loại bỏ sự phụ thuộc nặng nề vào backend đám mây cho các quy trình làm việc hàng ngày và cho phép tự chủ riêng tư, độ trễ thấp ngay tại thiết bị.

Đối với người mua và nhà phát triển, sự chuyển hướng này không chỉ là kỹ thuật mà còn là kiến trúc. Bằng cách xử lý các ngữ cảnh nhạy cảm (lịch, tài liệu, clipboard, ảnh chụp màn hình) ngay trên thiết bị, Glimmer chứng minh rằng tiện ích của đại lý có thể cải thiện mà không cần mở rộng lượng dữ liệu cá nhân gửi đến bên thứ ba. Sự đánh đổi này—quyền sở hữu và kiểm soát ngữ cảnh cá nhân thô với một bước giảm hiệu năng vừa phải so với các mô hình đóng hàng đầu—sẽ thu hút người dùng quan tâm đến quyền riêng tư và các nhóm được quản lý muốn có trợ lý nhưng không thể xuất dữ liệu ra các điểm suy luận bên ngoài.

Chạy một mô hình 30 tỷ tham số cục bộ vẫn đòi hỏi sự kỷ luật. Kết quả tốt nhất đạt được với VRAM từ 24GB trở lên; các card VRAM thấp hơn có thể cần lượng tử hóa 8-bit hoặc 4-bit và xử lý theo lô cẩn thận. Việc sử dụng công cụ, quyền truy cập hệ thống tệp và các cảnh báo bảo mật cấp hệ điều hành phải rõ ràng để tránh vượt quyền. Các nhóm nên kết hợp Glimmer với bộ định tuyến khả năng: chuyển các cuộc trò chuyện chung hoặc suy luận nặng lên đám mây khi cần, giữ các tác vụ đại lý thường nhật tại chỗ, và lưu trữ kết quả công cụ để giảm tiêu thụ năng lượng và nhiệt lượng trong quá trình hoạt động liên tục.

Về chiến lược, Glimmer vạch ra ranh giới giữa trí tuệ mở, có thể chạy bởi người dùng và các mô hình đóng cao cấp được giữ trên đám mây. Ranh giới này sẽ định hình thiết kế sản phẩm: các đại lý chuyên biệt cho tài liệu, email hoặc tự động hóa máy tính để bàn có thể được sở hữu, phân nhánh và kiểm toán, trong khi các mô hình nghiên cứu đa năng hoặc đa phương thức mạnh mẽ vẫn là dịch vụ. Cơ hội cho các startup rất rõ ràng—phát hành các đại lý tin cậy, ưu tiên ngoại tuyến với chính sách và nhật ký rõ ràng. Rủi ro cho các công ty lớn cũng rõ ràng—khi trợ lý chuyển sang các điểm cuối, chi phí chuyển đổi giảm và hệ sinh thái có thể phân mảnh nhanh chóng.