Fenêtre toujours nommée
Jamais la fenêtre au premier plan par défaut ; un titre ambigu ou un libellé ambigu est refusé avec la liste des candidats.
SERVEUR MCP · GOOGLE ANTIGRAVITY · GEMINI
Windows computer use for Antigravity, in the background.
Un serveur MCP, nexus-computer, pour Google Antigravity : Gemini voit et pilote les applications Windows pendant que vous gardez la souris, le clavier et la fenêtre au premier plan.
Pour
computer_look(window="Formulaire")[1] edit « Nom » = « »[2] button « Envoyer »computer_act(steps=[…])type fait, valeur relueclick « Envoyer » confirm: true requisrepeat même lot refusé sans nouveau regard01 / POURQUOI
Le computer use par capture et clic déplace le vrai curseur et met les fenêtres devant. Ce serveur agit d’abord en arrière-plan, relit l’effet, et ne passe à la vraie souris ou au vrai clavier que si l’étape le permet (foreground=True).
Il est construit pour un modèle rapide : un regard, puis un seul lot d’étapes désignées par leur libellé, et chaque réponse dit quoi faire ensuite.
02 / CE QU’ELLE FAIT
Regarder, puis agir en un seul lot avec des cibles désignées par leur libellé. Les dix anciens noms d’outils restent appelables.
computer_list_windowsLes fenêtres d’application, regroupables par application.
computer_lookUne ligne par élément (rôle, nom, valeur, états, position) et une image, sans mettre la fenêtre devant.
computer_actPlusieurs étapes en un appel (clic, saisie, case, liste, menu, touches…), chacune relue.
computer_open_pathOuvre un document, un dossier, un programme ou un raccourci ; l’ouverture est relue.
computer_close_windowFerme une fenêtre proprement : UI Automation, puis WM_CLOSE.
nextChaque réponse dit la suite en une ligne (✓ fait, = déjà fait, ~ effet non vu, ✗ échec) et joint l’image de la fenêtre quand l’effet n’a pas été relu.
repeatUn lot identique envoyé moins de 10 s après le même, sans nouveau regard, est refusé.
foreground=TrueMême là, l’arrière-plan d’abord : un point visé est rattaché à l’élément UI Automation qui s’y trouve, fenêtres couvertes comprises.
Win32 · WinFormsMessages directs aux contrôles natifs, avec leurs notifications ; WinForms par UI Automation puis messages.
WPF · UWP · ChromiumUI Automation seulement, lu en un seul aller-retour ; une lecture tronquée est signalée, jamais une liste vide silencieuse.
verifiedRelu dans l’application : valeur, état, sélection, élément focalisé, titre, image. Jamais un succès sur « commande envoyée » seulement.
Presse-papiersSauvegardé dans tous ses formats et rendu tel quel ; utilisé seulement en dernier recours pour une longue saisie.
Vérifications : ruff, Pyright et pytest hors ligne ; validation réelle sur ses propres fenêtres Win32, WinForms et WPF, montrées sans activation.
03 / LES GARDE-FOUS
Les règles sont dans l’outil lui-même, pas seulement dans la consigne donnée à l’agent.
Jamais la fenêtre au premier plan par défaut ; un titre ambigu ou un libellé ambigu est refusé avec la liste des candidats.
La fenêtre visée est relue au premier plan juste avant chaque saisie physique et chaque mouvement du curseur, sinon rien n’est envoyé.
Payer, acheter, commander, virer de l’argent, envoyer, publier, supprimer définitivement, désinstaller, formater, réinitialiser, résilier, effacer des données ou rendre un dépôt public demandent confirm: true, y compris par la touche Entrée.
KeePass, KeePassXC, Bitwarden, 1Password, Dashlane, NordPass, RoboForm et LastPass ne sont jamais regardés, capturés ni pilotés.
Écran de connexion, écran de verrouillage et invite UAC : refusés.
La confirmation est active par défaut ; NEXUS_AGY_CONFIRM=off dans l’environnement du serveur la désactive entièrement.
04 / AVEC LES AUTRES AGENTS
Deux protocoles de fichiers partagés par les éditions NexusWindows et NexusBrowser. N’importe quel agent peut les implémenter.
Un fichier commun, pris seulement pendant l’usage réel de la souris ou du premier plan, jamais pour une action en arrière-plan. Windows le libère si l’agent s’arrête ; un agent qui attend renonce après quelques secondes et dit qui le tient.
Ctrl+Alt+Maj+Échap bloque toute action de bureau pendant 2 minutes, pour tous les agents ; les lectures restent permises. Supprimer le fichier ou changer l’horloge ne lève pas l’arrêt.
Votre saisie physique est lue par Raw Input : le serveur attend une pause avant toute vraie souris ou vrai clavier, et s’arrête au point de contrôle suivant si vous touchez le clavier ou la souris.
05 / INSTALLATION
Prérequis : Windows 10 ou 11, PowerShell 7 et uv (installé par install.ps1 au besoin). L’environnement Python, les journaux et les captures vivent hors du clone ; le serveur se déclare ensuite dans mcp_config.json d’Antigravity.
pwsh -NoProfile -File install.ps1
Projet indépendant, non affilié à Microsoft ni à Google.
06 / LA FAMILLE NEXUS
Serveur MCP local pour Claude Desktop et Claude Code, sur toute offre qui charge un serveur MCP local.
Découvrir l’édition ClaudeUne couche qui fait agir le Computer Use de Codex d’abord en arrière-plan sur Windows.
Découvrir l’édition CodexVotre vrai Chrome, piloté par vos agents IA dans des onglets en arrière-plan.
Découvrir NexusBrowserUn vrai téléphone Android, vu et piloté par vos agents par ADB.
Découvrir NexusAndroid
07 / CODE SOURCE
Le code, la documentation et les mesures sont sur GitHub, sous licence MIT.