Bước chuyển sang WebAI của Opera không chỉ là thêm một tính năng, mà còn thay đổi nơi diễn ra quá trình suy luận. Bằng cách cung cấp khả năng AI ngay trong trình duyệt, Opera cho phép các trang web và tiện ích mở rộng gọi những mô hình chạy trực tiếp trên máy của người dùng — bao gồm các trọng số được cài sẵn hoặc người dùng chủ động chọn tải từ những nhà cung cấp được hỗ trợ. Điều này loại bỏ một khâu vận hành vốn tồn tại từ lâu đối với nhiều nhà phát triển: không nhất thiết phải triển khai máy chủ suy luận, quản lý khả năng mở rộng hay trả phí API theo token cho những tính năng có chi phí suy luận vừa phải và nhạy cảm với độ trễ.
Về mặt chức năng, WebAI không phụ thuộc vào một mô hình cụ thể, nhưng chỉ thực sự hữu ích khi mô hình phù hợp với phần cứng. Trong đợt triển khai ban đầu, Opera cho phép người dùng chọn sử dụng dòng Gemma của Google và mô hình nền tảng chạy trên thiết bị của Apple, dành cho máy Mac dùng chip Apple silicon. Các mô hình này được lựa chọn vì những kiến trúc «trọng số mở» hiện đại đã đủ hiệu quả để chạy trên laptop phổ thông và máy tính để bàn cấu hình cao. Với nhà phát triển, điều đó đồng nghĩa họ có thể xây dựng tính năng phân loại nội dung, tóm tắt và tạo nội dung ở mức cơ bản mà không cần cấp phát cụm GPU hay trả phí cho từng truy vấn — miễn là thiết kế sản phẩm có tính đến sự khác biệt về năng lực thiết bị.
Những tác động thực tế đến sản phẩm rất rõ rệt. Chạy mô hình cục bộ giúp giảm thời gian khứ hồi của quá trình suy luận từ hàng trăm mili giây hoặc vài giây xuống còn vài chục mili giây trên thiết bị đủ mạnh, nhờ đó các tính năng tương tác trực tiếp như sắp xếp tab hoặc gợi ý ngay trong văn bản phản hồi nhanh hơn. Cách làm này cũng giữ dữ liệu nhạy cảm trên thiết bị, giảm bớt trở ngại về quy định và tuân thủ khi xử lý tài liệu riêng tư hoặc sàng lọc hồ sơ xin việc. Tuy nhiên, trách nhiệm cũng thay đổi: nhà phát triển phải kiểm tra năng lực thiết bị, xây dựng phương án dự phòng phù hợp và thử nghiệm trải nghiệm người dùng với quy trình tải mô hình cũng như cấp quyền tự chọn.
Những đánh đổi khi áp dụng sẽ xoay quanh giới hạn phần cứng, kích thước mô hình và niềm tin của người dùng. Thiết bị có ít RAM, CPU yếu hoặc không có bộ tăng tốc mạng nơ-ron có thể chạy các mô hình nhỏ rất kém, hoặc không chạy AI cục bộ, buộc nhà phát triển phải dùng kiến trúc kết hợp. Bảo mật và cơ chế cập nhật cũng rất quan trọng: trình duyệt cần cô lập môi trường thực thi mô hình, duy trì kênh cập nhật trọng số minh bạch và ngăn suy luận cục bộ trở thành lỗ hổng có thể bị khai thác. Với đội ngũ sản phẩm, câu hỏi không chỉ là khả thi về mặt kỹ thuật mà còn là có phù hợp với thị trường hay không: tính năng nào thực sự cần chạy cục bộ, và tính năng nào có thể chuyển sang đám mây khi cần?


