WebAI ofrece una API alojada en el navegador que los sitios y las extensiones pueden utilizar para ejecutar modelos en el dispositivo del usuario. Esto significa que, para muchas tareas habituales, la inferencia ya no tiene que viajar por la red hasta un proveedor centralizado. Para los usuarios, puede traducirse en menos latencia, en que sus datos no se envíen automáticamente a API de terceros y en acceso gratuito a ciertas funciones de IA. Para los desarrolladores, abre la posibilidad de añadir experiencias de usuario impulsadas por IA sin tener que lidiar con la compleja gestión de servidores ni con la facturación por consulta.

¿Por qué es importante ahora? La combinación de modelos más pequeños y eficientes con dispositivos de consumo más potentes ha hecho viable la inferencia en el propio dispositivo para un número creciente de casos de uso. WebAI incorpora esa capacidad al navegador, donde es posible estandarizar los permisos y el control de las actualizaciones.

La primera versión de WebAI de Opera no depende de un único modelo, pero incluye compatibilidad con familias prácticas para ejecutar en el dispositivo: las variantes de Gemma de Google y el modelo fundacional integrado de Apple en los Mac con Apple Silicon. Son ejemplos de modelos de «pesos abiertos» o proporcionados por fabricantes, optimizados para la inferencia local. Las distintas variantes ofrecen diferentes equilibrios entre longitud de contexto, cantidad de parámetros y latencia; por eso, el navegador permite elegir entre varias opciones en lugar de ofrecer un único modelo monolítico.

Las limitaciones del dispositivo determinan qué variantes se pueden usar: los PC de 64 bits con Windows y procesadores recientes de Intel o AMD pueden ejecutar razonablemente bien modelos Gemma de tamaño medio; los Mac con Apple Silicon pueden aprovechar los modelos optimizados de Apple y sus aceleradores neuronales. Los portátiles de gama baja y los equipos antiguos necesitarán modelos cuantizados más pequeños o dependerán de una alternativa en la nube. Por eso, los desarrolladores deben detectar las capacidades y ofrecer una experiencia adecuada cuando el dispositivo no sea compatible.

Para los ingenieros y responsables de producto, WebAI cambia el modelo de costos. Muchas funciones ligeras —como resumir pestañas, etiquetar contenido, reformular texto en línea o comparar perfiles con ofertas de empleo— se pueden implementar sin tener infraestructura de inferencia propia. Esto reduce la complejidad operativa y el gasto por consulta, pero requiere nuevos patrones de desarrollo: API para detectar capacidades, procesos para descargar modelos, acceso sujeto a permisos y alternativas fiables en servicios de inferencia en la nube para tareas más exigentes o dispositivos no compatibles.

También deben evolucionar las herramientas y las prácticas de prueba. Los equipos tienen que validar el comportamiento en una variedad de dispositivos, medir la latencia y el consumo de memoria de los modelos elegidos, y diseñar una experiencia de usuario que contemple la instalación opcional de modelos. Cuando se necesiten predicciones repetibles y de gran volumen, lo más práctico será un enfoque híbrido: inferencia local para decisiones rápidas y la nube para tareas por lotes más exigentes.

La IA local en el navegador resulta ideal para funciones que requieren poca latencia o un alto nivel de privacidad de los datos. Algunos ejemplos prácticos son organizar y priorizar pestañas automáticamente mediante representaciones semánticas locales; clasificar contenido en tiempo real, por ejemplo, para detectar titulares engañosos o categorizar páginas; analizar currículums y encontrar ofertas adecuadas sin que los datos salgan del dispositivo; y resumir o censurar documentos confidenciales en el propio cliente. Las extensiones pueden ofrecer estas funciones sin suscripciones ni servidores remotos.

Sin embargo, la inferencia en la nube seguirá siendo preferible para tareas que requieran ventanas de contexto muy amplias, conjuntos de modelos o actualizaciones uniformes para todos los usuarios. Los equipos de producto deben asignar cada función al entorno de ejecución más económico: local para las funciones pequeñas sensibles a la latencia o la privacidad, y en la nube para las tareas más complejas y para mantener la coherencia del modelo entre usuarios.

La principal limitación práctica es el hardware. La memoria disponible, la capacidad de la CPU o la GPU y la presencia de aceleradores neuronales determinan si los modelos se ejecutan con fluidez. Las variantes cuantizadas reducen el consumo de memoria, pero pueden afectar a la precisión. Esto genera una experiencia desigual: una función que va bien en un Mac de gama alta puede resultar inutilizable en un portátil antiguo con Windows. Los desarrolladores deben medir la pérdida de precisión y tener en cuenta la latencia y el consumo de energía en dispositivos que funcionan con batería.

La privacidad es una ventaja real, pero también plantea nuevos retos de seguridad. Los modelos locales necesitan canales de actualización seguros y comprobaciones de integridad para evitar que se sustituyan por modelos maliciosos, además de ejecutarse en un entorno aislado que limite los riesgos. Es fundamental ofrecer permisos claros y explicar de forma transparente cuándo un sitio web o una extensión tiene acceso a los modelos del dispositivo.