WebAI 提供由浏览器托管的 API，网站和扩展程序可以调用它，在用户设备上运行模型。对于许多常见任务，推理因此不必再经由网络发送到集中式服务提供商。对用户来说，这意味着更低的延迟、数据不会自动传给第三方 API，还能免费使用某些 AI 功能。对开发者而言，他们可以为产品体验加入 AI 功能，而不必长期操心服务器管理和逐次查询计费。

这项技术为何在当下变得重要：更小、更高效的模型权重，加上性能更强的消费级设备，让越来越多的应用场景能够切实采用端侧推理。WebAI 将这项能力纳入浏览器层，使权限管理和更新控制有望实现标准化。

Opera 首个版本的 WebAI 不绑定特定模型，但已支持适合端侧运行的模型系列：Google 的 Gemma 各版本，以及搭载 Apple 芯片的 Mac 上的 Apple 端侧基础模型。这些模型属于“开放权重”或由供应商提供、并针对本地推理优化的模型。不同版本在上下文长度、参数量和延迟方面各有取舍，因此浏览器提供了模型选择方式，而不是只提供一个庞大的单一模型。

设备条件决定了哪些模型版本可用：搭载较新 Intel 或 AMD 处理器的 64 位 Windows PC，可以较流畅地运行中等规模的 Gemma 模型；搭载 Apple 芯片的 Mac 则能够使用 Apple 优化的模型和神经网络加速器。低端笔记本和较旧设备需要使用更小的量化模型，或回退到云端，因此开发者应检测设备能力，并在条件不足时平稳降级。

对工程师和产品负责人而言，WebAI 改变了成本结构。许多轻量级功能——例如标签页摘要、内容标注、行内改写、本地职位匹配——无需自建推理基础设施即可实现。这降低了运维复杂度和逐次查询成本，但也需要采用新的工程模式：能力检测 API、模型下载流程、权限控制，以及针对较重任务或不受支持硬件的可靠云端回退方案。

工具链和测试方法也需要随之调整。团队必须针对不同设备规格进行全面验证，量化所选模型的延迟和内存占用，并设计好应对用户选择安装模型的交互体验。如果需要可重复、高吞吐量的预测，混合方案会更实用：快速决策交给本地推理，繁重的批量任务则交由云端处理。

浏览器本地 AI 最适合对低延迟和／或数据本地化有较高要求的功能。实际应用包括：利用本地语义嵌入自动整理和排序标签页；实时内容分类（标记标题党或对网页进行分类）；在不上传数据的情况下解析私人简历并匹配职位；以及在客户端为敏感文件生成摘要或进行脱敏处理。扩展程序无需设置订阅门槛或远程服务器，就能提供这些功能。

不过，对于需要超长上下文窗口、集成多个模型，或确保所有用户使用一致模型更新的任务，云端推理仍然更合适。产品团队应根据功能选择成本最低的执行位置：对延迟或隐私敏感的小型功能采用本地执行，繁重任务和需要跨用户保持模型一致性的工作则交给云端。

最大的现实限制来自硬件。内存占用、CPU／GPU 是否可用，以及设备是否配备神经网络加速器，都会决定模型能否流畅运行。量化模型可以减少内存占用，但可能影响准确度。这会造成设备体验参差不齐：一项功能或许能在高端 Mac 上运行良好，在较旧的 Windows 笔记本上却可能完全无法使用。开发者必须监测性能下降的情况，并考虑电池供电设备上的延迟和能耗。

隐私方面的优势显而易见，但也带来了新的安全问题。本地模型需要安全的更新渠道和完整性检查，以防模型被恶意替换；执行过程也必须进行沙箱隔离，限制潜在风险。权限交互和清晰的告知同样至关重要，用户需要了解网站或扩展程序何时获得了调用设备端模型的权限。