Mage‑VL‑Cowork rompt avec les architectures centrées sur l’orchestration en intégrant le routage au modèle. Au lieu de contrôleurs externes qui décident s’il faut appeler un outil de programmation distinct, la politique apprend à router les actions pendant le SFT et l’apprentissage par renforcement en ligne. Cette conception réduit la latence entre les composants, simplifie la gestion de l’état (un seul historique d’actions et des captures d’écran servant d’ancrage) et produit des séquences d’actions plus courtes et plus efficaces — l’équipe signale d’ailleurs une baisse du nombre d’appels au modèle et de l’utilisation de jetons après l’apprentissage par renforcement.

OSWorld‑Verified évalue des tâches réelles faisant intervenir plusieurs applications, avec des vérifications d’état vérifiables plutôt que de simples heuristiques fondées sur des captures d’écran. Un score de 66,0 % avec un budget de 50 étapes indique que le modèle réalise de manière fiable des flux de travail complexes entre plusieurs applications, au lieu de simplement produire des suites de clics plausibles. Son score élevé dans la catégorie des systèmes d’exploitation et son classement général compétitif montrent que les actions hybrides permettent de résoudre les problèmes plus vite — par exemple en passant à un script dans le terminal lorsque les modifications dans l’interface graphique seraient lentes ou peu fiables.

Un checkpoint 4B sous licence Apache‑2.0 est un choix pragmatique : il peut être dérivé, affiné et intégré à des outils locaux sans conditions commerciales restrictives. Pour les fondateurs et les ingénieurs qui créent des agents d’automatisation, cela permet de prototyper plus rapidement des harnesses adaptés à un domaine, des bibliothèques de compétences personnalisées et des répliques d’environnements. Le nombre plus faible de paramètres réduit également le coût d’inférence et les besoins en mémoire GPU, rendant les essais sur site, l’intégration à la CI et les usages en périphérie plus accessibles aux startups et aux entreprises soumises à des contraintes de souveraineté des données.

Les atouts de Mage‑VL‑Cowork ne rendent pas les autres choix de conception obsolètes. Certaines tâches restent plus faciles à effectuer uniquement par l’interface graphique (contraintes d’accessibilité, flux de travail visuels très interactifs), tandis que les très grands modèles d’instructions peuvent encore offrir une meilleure généralisation dès leur mise en service. Le compromis est avant tout opérationnel : les agents hybrides peuvent être plus efficaces et fiables pour les tâches sur ordinateur qui sont scénarisées et nécessitent de gérer l’état, mais ils exigent un harness bien conçu et une réplication de l’environnement pour éviter les comportements fragiles lorsque les applications sont mises à jour ou que leur affichage change.

Les équipes devraient commencer par reproduire un petit ensemble de tâches représentatives sur ordinateur, créer des harnesses légers pour capturer les captures d’écran et l’état du terminal, puis évaluer un checkpoint 4B en SFT et dans des boucles d’apprentissage par renforcement encadrées. Concentrez-vous d’abord sur les points d’intégration où les solutions programmatiques offrent le meilleur retour sur investissement (modifications groupées de feuilles de calcul, conversion de fichiers, vérifications d’applications par script). Suivez le nombre d’appels au modèle et l’utilisation de jetons pour mesurer les gains d’efficacité, et faites évoluer le harness avant tout déploiement à grande échelle.