O Mage‑VL‑Cowork se destaca por tratar a automação de desktop como um único problema de decisão: a cada etapa, a política escolhe entre ações básicas de GUI (mouse, teclado e ancoragem em capturas de tela) ou ações de terminal e código (scripts, ferramentas de linha de comando e bibliotecas). Essa arquitetura de política única evita camadas de orquestração frágeis e ensina o modelo tanto a agir visualmente quanto a saber quando recorrer a soluções programáticas — uma capacidade que se encaixa diretamente em fluxos de trabalho reais, como editar planilhas com uma correção rápida em Python em vez de depender de muitos cliques suscetíveis a falhas.
A receita de treinamento divulgada é tão importante quanto o resultado final. O pipeline de cinco etapas da Microsoft — treinamento intermediário de GUI, SFT de GUI, SFT de programação e terminal, SFT híbrido e RL híbrido online — desenvolve intencionalmente a competência em cada canal antes de unificá-los. A evolução do harness e a síntese do Mage‑CUA‑Forge geram dezenas de milhares de tarefas reutilizáveis e condicionadas por habilidades, para que a política estudante aprenda tanto a ancoragem visual quanto intervenções programáticas confiáveis. Em seguida, o RL online refina os limites de decisão, reduzindo as chamadas ao modelo e a quantidade de tokens gerados enquanto aumenta as taxas de sucesso — um ganho prático de eficiência para implantações reais.
Por que um modelo 4B com pesos abertos importa? Primeiro, ele reduz as barreiras para equipes que desejam fazer inferência local, experimentos no próprio ambiente ou implantações na borda — sobretudo com o licenciamento Apache‑2.0. Segundo, os resultados competitivos do modelo no OSWorld (66,0% com 50 etapas, superando vários modelos fechados maiores) mostram que a engenharia cuidadosa de dados e o projeto do harness podem compensar a escala dos parâmetros. Para equipes de produto e pesquisadores, isso abre um caminho viável para iterar em GUIs especializadas, aplicativos empresariais ou automações sensíveis à privacidade, sem precisar esperar por grandes APIs na nuvem.


