Mage‑VL‑Cowork ist bemerkenswert, weil der Ansatz Desktop-Automatisierung als einheitliches Entscheidungsproblem behandelt: In jedem Schritt wählt die Policy entweder GUI-Aktionen (Maus, Tastatur, auf Screenshots basierende Orientierung) oder Terminal- und Code-Aktionen (Skripte, Kommandozeilenwerkzeuge, Bibliotheken). Diese Architektur mit einer einzigen Policy kommt ohne fragile Orchestrierungsschichten aus und bringt dem Modell sowohl visuelles Handeln als auch den passenden Wechsel zu programmatischen Lösungen bei. Das passt direkt zu realen Arbeitsabläufen – etwa eine Tabelle mit einem kurzen Python-Patch zu bearbeiten, statt zahlreiche fehleranfällige Klicks auszuführen.
Das beschriebene Trainingsverfahren ist ebenso wichtig wie das Endergebnis. Microsofts Pipeline mit fünf Phasen – GUI-Midtraining, GUI-SFT, Coding- und Terminal-SFT, hybrides SFT und hybrides Online-RL – baut gezielt Kompetenzen in den einzelnen Aktionskanälen auf, bevor sie zusammengeführt werden. Die Weiterentwicklung des Harness und die Synthese mit Mage‑CUA‑Forge erzeugen Zehntausende wiederverwendbarer, an Fähigkeiten ausgerichteter Aufgaben. So lernt die Policy sowohl visuelle Orientierung als auch verlässliche programmatische Eingriffe. Anschließendes Online-RL schärft die Entscheidungsgrenzen, senkt die Zahl der Modellaufrufe und die Token-Ausgabe und erhöht zugleich die Erfolgsquote – ein handfester Effizienzgewinn für den praktischen Einsatz.
Warum ist ein Modell mit offenen Gewichten und 4 Milliarden Parametern relevant? Erstens senkt es die Einstiegshürde für Teams, die lokal Inferenz ausführen, On-Premises-Experimente durchführen oder Lösungen am Netzwerkrand einsetzen möchten – insbesondere dank der Apache-2.0-Lizenz. Zweitens zeigen die konkurrenzfähigen OSWorld-Ergebnisse des Modells (66,0 % bei 50 Schritten und damit besser als mehrere größere geschlossene Modelle), dass sorgfältige Datenaufbereitung und ein durchdachtes Harness die geringere Parameterzahl ausgleichen können. Für Produktteams und Forschende eröffnet das einen realistischen Weg, spezialisierte GUIs, Unternehmensanwendungen oder datenschutzkritische Automatisierung weiterzuentwickeln, ohne auf große Cloud-APIs angewiesen zu sein.


