COUCHE POUR LE COMPUTER USE DE CODEX · WINDOWS

Le Computer Use de Codex.
En arrière-plan d’abord.

Background-first Windows layer for Codex’s Computer Use.

Codex a son propre Computer Use. NexusWindows for Codex s’y ajoute sur Windows : un assistant .NET local agit d’abord en arrière-plan, et la saisie physique de Codex ne sert qu’en dernier recours.

Explorer le code Voir les fonctions

Arrière-plan d’abord
Chaque action vérifiée
Jamais de double action

Pour

Un écran Windows dont les éléments numérotés sont reliés à Codex — Illustration d’un échange dans la session Codex : chaque résultat dit quelle technique a agi et si le premier plan a été pris.

CODEX COMPUTER USEWIN32UI AUTOMATION.NET 8NODE 22+MIT

01 / POURQUOI

Codex au premier plan ?
Plus d’abord.

Sur Windows, le Computer Use de Codex travaille au premier plan : la documentation d’OpenAI demande de garder l’application visée visible sur le bureau actif pendant la tâche, et il prend la souris et le clavier.

Beaucoup d’applications Windows peuvent être pilotées sans cela. Cette couche garde l’API Computer Use de Codex pour l’inventaire des fenêtres, les captures et la saisie physique, essaie d’abord les techniques d’arrière-plan, juge le résultat sur l’état réel de l’application, et ne passe à la saisie physique qu’en dernier recours, après une pause de votre frappe et sous un jeton partagé avec les autres agents du PC.

Source : documentation Computer Use d’OpenAI. Un skill et des modules JavaScript chargés dans le Node REPL de Codex : ni serveur MCP, ni port réseau, ni jeton, ni API Electron privée.

02 / CE QU’ELLE FAIT

Arrière-plan d’abord.
Saisie physique en dernier.

Chaque résultat dit quelle technique a agi, si le premier plan a été pris et chaque tentative.

Win32
Messages aux contrôles (bouton, case, saisie, liste déroulante ouverte ou fermée, liste, onglet, menu), relus. Jamais UI Automation Invoke, qui active la fenêtre.
WinForms
UI Automation Invoke et Toggle ; messages pour les champs, listes déroulantes et listes.
WPF · UWP · WinUI · Chromium
UI Automation COM sans prise de focus, depuis un processus séparé ; une liste déroulante est refermée après chaque choix.
expect
Une postcondition explicite : vérifiée, non atteinte ou déjà vraie. Une postcondition qui ne prouve rien est refusée avant toute saisie.
actBatch
Jusqu’à 32 actions validées avant toute saisie, arrêt à la première étape non vérifiée.
PrintWindow
Capture de la fenêtre suivie sans la mettre devant, même couverte.

1.4.1
Plus de double clic : un clic d’arrière-plan envoyé sans effet relu devient sent-unconfirmed, jamais compté comme réussi ni rejoué.
foregroundReturned
Si la saisie physique a pris le premier plan, il vous est rendu à la fin ; si vous êtes passé à une autre fenêtre, rien ne vous est repris.
Fenêtres multiples
La session suit les boîtes de dialogue et revient à leur fenêtre d’origine quand elles se ferment.
Raw Input
Votre présence lue sans hook ni contenu : 1,618 s sans saisie de votre part avant toute saisie physique, frappe arrêtée dès que vous reprenez la main.
Mémoire
Un clic vérifié peut devenir une recette, invalidée dès que l’application ou ses contrôles changent ; aucun texte saisi n’est gardé.
Fenêtres exclues
L’application de l’agent, les terminaux et consoles, les écrans de sécurité et de connexion, les gestionnaires de mots de passe : refusés avant toute saisie.

Validation réelle du 15 octobre 2026 : actions Win32 de 105 à 159 ms, WPF de 193 à 241 ms, capture d’une fenêtre Win32 couverte en 19 ms, premier plan inchangé et curseur immobile.

03 / LES GARDE-FOUS

L’agent agit.
Vous gardez la main.

Les règles sont dans l’outil lui-même, pas seulement dans la consigne donnée à l’agent.

Les règles de Codex s’appliquent

Accès aux applications et actions sensibles : les règles du Computer Use de Codex restent en vigueur. Cette couche n’est pas un moyen de contourner une application ou une action refusée.

Un refus n’envoie rien

Champ de mot de passe, application exclue, contrôle changé, fenêtre ou commande désactivée : rien n’est envoyé, et aucun repli n’est tenté.

Une observation, une action

Une observation périmée, une autre fenêtre ou un contrôle ambigu arrête l’action avant toute saisie.

Saisie physique sous conditions

Seulement quand aucune technique d’arrière-plan ne s’applique ou que rien n’a pris ; jamais pour un effet partiel ; interdite avec fallback:false.

Arrêt d’urgence commun

Contrôlé avant chaque action et avant chaque caractère de la frappe physique ; une action refusée n’est jamais rejouée.

Rien de vos écrans dans les mesures

Captures refusées dans les dossiers OneDrive ; les mesures ne contiennent ni texte d’interface, ni capture, ni valeur saisie, ni titre.

04 / AVEC LES AUTRES AGENTS

Un seul PC.
Plusieurs agents.

Deux protocoles de fichiers partagés par les éditions NexusWindows et NexusBrowser. N’importe quel agent peut les implémenter.

Jeton de premier plan

Un fichier commun, pris seulement pendant l’usage réel de la souris ou du premier plan, jamais pour une action en arrière-plan. Windows le libère si l’agent s’arrête ; un agent qui attend renonce après quelques secondes et dit qui le tient.

Arrêt d’urgence

Ctrl+Alt+Maj+Échap bloque toute action de bureau pendant 2 minutes, pour tous les agents ; les lectures restent permises. Supprimer le fichier ou changer l’horloge ne lève pas l’arrêt.

Vous d’abord

Avant toute saisie physique, la couche attend une pause de votre frappe (8 s au plus, sinon rien n’est envoyé) et s’arrête dès que vous reprenez le clavier ou la souris.

05 / INSTALLATION

Un installeur.
Le skill dans Codex.

Prérequis : Windows 10 ou 11, l’application de bureau Codex avec son plugin Computer Use, le SDK .NET 8 et Node 22+ pour les tests. install.ps1 compile l’assistant, installe le skill dans le dossier de Codex et vérifie les fichiers par empreinte ; les nouvelles sessions de Codex le prennent en compte.

pwsh -NoProfile -File install.ps1

Projet indépendant, non affilié à Microsoft ni à OpenAI.

Version: 1.4.1
Système: Windows 10 ou 11
Client: Application de bureau Codex et son plugin Computer Use
Prérequis: SDK .NET 8, Node 22+
Licence: MIT
Limites: Canevas, vues 3D et contrôles sans fournisseur d’accessibilité demandent encore captures et gestes physiques. Skill et messages en partie en français.