WebAI는 웹사이트와 확장 프로그램이 사용자 기기에서 모델을 실행하도록 호출할 수 있는 브라우저 호스팅 API를 제공합니다. 따라서 일반적인 여러 작업에서 중앙 집중식 제공업체로 네트워크를 통해 데이터를 보내 추론할 필요가 없습니다. 사용자는 지연 시간을 줄이고, 타사 API로 데이터가 자동 전송되는 일을 피하며, 일부 AI 기능을 무료로 이용할 수 있습니다. 개발자에게는 서버 관리와 요청별 과금이라는 부담 없이 AI 기반 사용자 경험을 추가할 수 있는 길이 열립니다.

지금 이 기능이 중요한 이유는 작고 효율적인 모델 가중치와 성능이 향상된 소비자 기기가 맞물리면서 온디바이스 추론을 활용할 수 있는 사례가 늘고 있기 때문입니다. WebAI는 이러한 기능을 브라우저 계층에 통합해 권한 관리와 업데이트 제어를 표준화할 수 있도록 합니다.

Opera의 초기 WebAI 버전은 특정 모델에 종속되지 않지만, 실용적인 온디바이스 모델 제품군을 지원합니다. Google의 Gemma 변형 모델과 Apple 실리콘 Mac에서 사용하는 Apple 온디바이스 파운데이션 모델이 여기에 해당합니다. 이들은 로컬 추론에 최적화된 오픈 웨이트 모델 또는 업체가 제공하는 모델의 사례입니다. 모델마다 컨텍스트 길이, 파라미터 수, 지연 시간 간의 장단점이 다르므로 브라우저는 하나의 거대한 모델 대신 여러 모델 중에서 선택할 수 있도록 합니다.

사용 가능한 모델은 기기 성능에 따라 달라집니다. 최신 Intel/AMD CPU가 탑재된 64비트 Windows PC에서는 중간 크기의 Gemma 모델을 무리 없이 실행할 수 있고, Apple 실리콘 Mac에서는 Apple에 최적화된 모델과 신경망 가속기를 활용할 수 있습니다. 보급형 노트북과 구형 기기는 더 작은 양자화 모델을 사용하거나 클라우드 대체 경로에 의존해야 하므로, 개발자는 기기 성능을 감지하고 기능이 제한될 때도 원활하게 작동하도록 설계해야 합니다.

엔지니어와 제품 책임자에게 WebAI는 비용 구조를 바꿉니다. 탭 요약, 콘텐츠 라벨링, 인라인 문장 다듬기, 로컬 채용 공고 매칭 같은 가벼운 기능은 추론 인프라를 직접 운영하지 않고도 구현할 수 있습니다. 운영 복잡성과 요청별 비용은 줄지만, 새로운 개발 방식이 필요합니다. 기기 성능 확인 API, 모델 다운로드 흐름, 권한 기반 접근, 그리고 무거운 작업이나 지원되지 않는 하드웨어를 위한 클라우드 엔드포인트 대체 경로를 마련해야 합니다.

도구와 테스트 방식도 발전해야 합니다. 팀은 다양한 기기 사양을 조합해 동작을 검증하고, 선택한 모델의 지연 시간과 메모리 사용량을 측정하며, 사용자가 모델을 직접 설치하는 상황을 고려한 사용자 경험을 설계해야 합니다. 반복적이고 처리량이 높은 예측이 필요한 경우에는 빠른 판단은 로컬에서, 대규모 배치 작업은 클라우드에서 처리하는 하이브리드 방식이 현실적인 선택입니다.

브라우저 기반 로컬 AI는 지연 시간이 짧아야 하거나 데이터가 기기 밖으로 나가지 않아야 하는 기능에 가장 적합합니다. 예를 들어 로컬 시맨틱 임베딩을 활용한 탭 자동 정리와 우선순위 지정, 실시간 콘텐츠 분류(낚시성 콘텐츠 표시 또는 페이지 분류), 기기 밖으로 데이터를 보내지 않는 비공개 이력서 분석과 채용 매칭, 민감한 파일을 위한 클라이언트 측 문서 요약 및 민감 정보 가리기 등이 있습니다. 확장 프로그램은 구독이나 원격 서버 없이도 이러한 기능을 제공할 수 있습니다.

반면 매우 긴 컨텍스트 창, 앙상블 모델, 사용자 간 일관된 모델 업데이트가 필요한 작업에는 클라우드 추론이 계속 더 적합할 수 있습니다. 제품 팀은 각 기능을 비용이 가장 적게 드는 실행 위치에 배치해야 합니다. 지연 시간이나 개인정보 보호가 중요한 소규모 기능은 로컬에서, 고부하 작업과 사용자 간 모델 일관성이 중요한 기능은 클라우드에서 처리하는 방식입니다.

실용성을 가장 크게 제한하는 요인은 하드웨어입니다. 메모리 사용량, CPU/GPU 이용 가능 여부, 신경망 가속기 탑재 여부에 따라 모델이 원활하게 실행될지가 결정됩니다. 양자화 모델은 메모리 사용량을 줄이지만 정확도에 영향을 줄 수 있습니다. 이로 인해 기기별 성능 차이가 커집니다. 고성능 Mac에서 잘 작동하는 기능이 구형 Windows 노트북에서는 사용할 수 없을 수도 있습니다. 개발자는 정확도가 떨어지는 상황을 파악할 수 있도록 측정 지표를 마련하고, 배터리 기기의 지연 시간과 전력 소비도 고려해야 합니다.

개인정보 보호 측면에서는 분명한 이점이 있지만, 새로운 보안 문제도 생깁니다. 로컬 모델을 안전하게 업데이트할 수 있는 경로와 악성 모델로 바꿔치기되는 일을 막는 무결성 검증이 필요하며, 노출을 제한하기 위해 실행 환경을 샌드박스 처리해야 합니다. 사용자가 웹사이트나 확장 프로그램에 온디바이스 모델 접근 권한을 부여할 때 어떤 일이 일어나는지 알 수 있도록, 권한 요청 과정과 명확한 안내도 중요합니다.