Computer Use
Résumé NexusAi : La fonctionnalité d’utilisation d’un ordinateur de Claude Sonnet permet aux modèles d’imiter les actions humaines dans des logiciels réels : ils analysent des captures d’écran, calculent des déplacements du curseur au pixel près, puis cliquent et saisissent du texte pour automatiser des tâches dans les interfaces graphiques, avec des mesures de sécurité quantifiables.
NexusAi Vue d’ensemble
En pratique, le développeur accorde un accès contrôlé à l’écran et donne ses instructions à Claude. Le modèle capture des captures d’écran, calcule les décalages du curseur au pixel près, effectue des clics et des frappes, puis recommence jusqu’à ce que la tâche soit terminée. Cette boucle intègre des mécanismes simples d’autocorrection et de nouvelle tentative, qui améliorent la fiabilité des tâches en plusieurs étapes.
Fonctionnalités et limites actuelles
Cette fonctionnalité s’adresse notamment aux équipes de développement qui automatisent des applications anciennes dotées d’une interface graphique, aux chercheurs qui prototypent des agents capables d’imiter les comportements humains et aux intégrateurs système qui ont besoin d’un contrôle programmatique sans réécrire les logiciels existants. Les ingénieurs en sécurité et en plateformes apprécieront les journaux détaillés et les classificateurs de surveillance, tandis que les équipes produit pourront rapidement créer des démonstrations de flux de travail complets qui nécessiteraient autrement des intégrations coûteuses.
- Interprète les captures d’écran et calcule les décalages en pixels pour positionner le curseur avec précision.
- Effectue des clics et saisit des commandes au clavier pour réaliser des tâches complexes dans une interface graphique.
- Réessaie et corrige ses actions lorsque celles-ci ne produisent pas les résultats attendus.
- Généralise à partir de quelques exemples d’entraînement à de nouvelles interfaces logicielles simples.
- Intègre des mécanismes de surveillance et des classificateurs pour détecter les usages abusifs potentiels et les injections de prompt.
Tendances concrètes
Sécurité et gouvernance
Rejoignez la bêta publique, suivez l’implémentation de référence d’Anthropic et configurez la passerelle logicielle recommandée, qui fournit les captures d’écran et reçoit les commandes de souris et de clavier. Les développeurs devraient mener leurs essais dans un environnement isolé, activer les classificateurs et enregistrer des journaux détaillés à des fins d’audit. Anthropic recommande un déploiement prudent : commencez par des tâches non critiques, surveillez les décisions du modèle et mettez en place des contrôles d’accès pour limiter l’exposition aux contenus malveillants et aux attaques par injection de prompt.
NexusAi: L’utilisation d’un ordinateur facilite l’application des compétences existantes des modèles ; nous intégrons donc des mesures de protection dès le départ et les améliorons en continu.
Pour commencer
L’utilisation d’un ordinateur renouvelle l’approche de l’intégration des modèles : au lieu d’adapter les outils aux modèles, on apprend aux modèles à utiliser les logiciels existants. L’approche de Claude Sonnet, fondée sur l’analyse au pixel près, accélère l’automatisation concrète tout en maintenant une posture prudente en matière de sécurité. Elle se prête ainsi aux prototypes, à l’automatisation dans des contextes bien délimités et à l’expérimentation par les développeurs.
Ouvrez l’outil et examinez son expérience produit principale.
Créez votre compte ou accédez à votre espace de travail existant.
Utilisez votre propre tâche pour évaluer la vitesse, la qualité et l’adéquation.
Vérifiez des outils IA similaires avant de prendre une décision finale.
Computer Use
Anthropic est une entreprise de recherche en IA axée sur la sécurité et une société d’intérêt public qui développe de grands modèles de langage, notamment Claude. L’équipe mise sur la recherche itérative, les mesures de protection à plusieurs niveaux et le code de référence destiné aux développeurs pour faire progresser ces capacités de manière responsable.
La fonctionnalité d’utilisation d’un ordinateur de Claude Sonnet permet à un grand modèle de langage d’interagir avec des logiciels de bureau courants en interprétant des captures d’écran et en envoyant des commandes au curseur et au clavier. Entraîné à compter les pixels et à raisonner sur l’état affiché à l’écran, le modèle transforme les intentions de l’utilisateur en une suite d’actions, réessaie en cas d’échec et généralise à partir de quelques exemples seulement. Cette approche simplifie l’intégration : au lieu de créer des outils sur mesure, les développeurs peuvent laisser le modèle utiliser directement les applications existantes. Parmi ses applications concrètes : automatiser des tâches répétitives dans une interface graphique, prototyper des flux de travail complexes et aider les ingénieurs dans des environnements sans API. Anthropic met l’accent sur les tests en bêta publique, les implémentations de référence et des dispositifs de protection à plusieurs niveaux pour détecter les injections de prompt et les usages abusifs, alors que la fonctionnalité en est encore à ses débuts et reste volontairement limitée.
Visiter Computer Use
Commentaires (0)
Aucun commentaire trouvé