OpenClaw AppleScript : contrôler les apps macOS natives (2026)
SKILL.md) à un petit script pont qui appelle osascript (AppleScript) ou lance des workflows Automator. L’agent peut alors ouvrir Keynote, exporter un PDF, ajuster le volume système ou assombrir l’écran — tandis que les déclencheurs chat restent dans la passerelle. Attendez-vous aux invites TCC (Accessibilité / Automatisation) et traitez le contrôle GUI complet comme un privilège élevé.
Pourquoi un OpenClaw texte seul laisse la puissance macOS inexploitée
OpenClaw excelle dans les dépôts, les hooks CI et le fan-out multi-agents. Sur un Mac mini ou MacBook, le même démon tourne souvent en headless via SSH : il édite des fichiers et lance npm test, mais ne touche jamais Mail, Keynote, Music ou Réglages Système.
Cet écart compte quand votre flux est orienté opérateur, pas développeur :
- Un stakeholder écrit « exporter le deck v3 en PDF » dans un canal d’équipe
- Vous voulez baisser la luminosité avant un enregistrement de partage d’écran
- Un job nocturne doit archiver des slides sans toucher à l’UI
macOS fournit déjà la colle : AppleScript dialogue avec les apps scriptables ; Automator emballe des macros UI répétables en fichiers .workflow lançables depuis le shell. Le système de skills OpenClaw est le troisième pilier : des outils documentés que le modèle peut appeler. Reliez-les et l’agent cesse d’être un chatbot en sandbox — il devient un concierge local avec les mains sur le bureau.
Ce guide suppose OpenClaw installé (référence d’installation). Nous nous concentrons sur l’automatisation bureau, pas la théorie d’orchestration.
Architecture : Passerelle → Skill → Pont → AppleScript / Automator
Flux de données en une phrase : message canal → passerelle OpenClaw → handler de skill → /usr/local/bin/openclaw-mac-bridge → osascript ou automator → app native ou System Events.
| Couche | Responsabilité | Chemin typique |
|---|---|---|
| Passerelle | Routage chat/webhook vers un agent | Démon openclaw |
Skill (SKILL.md) | Documente args, règles de sécurité, exemples | ~/.openclaw/skills/mac-desktop/SKILL.md |
| Pont (bash) | Valide l’entrée, journalise, appelle macOS | ~/bin/openclaw-mac-bridge |
| AppleScript | Verbes d’app (Keynote, Finder) | inline ou ~/Scripts/*.applescript |
| Automator | UI enregistrée quand AppleScript est fragile | ~/Library/Services/Export-Keynote-PDF.workflow |
Apple documente les apps scriptables dans le Guide du langage AppleScript. Pour le script GUI via System Events, il faut la permission Accessibilité pour le terminal (ou osascript) dans Réglages Système → Confidentialité et sécurité.
Posture de sécurité : Exécutez les scripts pont uniquement sur un Mac d’automatisation dédié (ou une VM/session effaçable). Contrôle bureau complet plus accès shell agent = UX équivalente root — même classe de risque que désactiver le sandbox pour les workers.
Matrice de décision : AppleScript vs Automator vs Shell seul
| Besoin | AppleScript | Workflow Automator | Shell (outils openclaw seuls) |
|---|---|---|---|
| Export PDF Keynote | Commande native export | Enregistrer clics menu si API absente | Non |
| Volume / luminosité | System Events | Excessif | One-liner osascript |
| App Electron non scriptable | Fragile | Souvent plus simple (enregistrement UI) | Non |
| CI sur Linux distant | N/A | N/A | Oui |
| Auditable, versionné | .applescript dans git | Bundle .workflow dans git | SKILL.md seulement |
| Mac SSH headless | Fonctionne si session GUI connectée | Nécessite session graphique | Fonctionne |
Règle : Préférez AppleScript quand le dictionnaire expose le verbe ; repli Automator pour actions menu-bar uniquement ; gardez le shell pour fichiers/git.
Runbook pas à pas : Pont + SKILL.md + trois actions
Étape 1 — Créer le script pont
Enregistrer sous ~/bin/openclaw-mac-bridge et chmod +x :
#!/usr/bin/env bash
set -euo pipefail
ACTION="${1:-}"; shift || true
LOG="${HOME}/.openclaw/logs/mac-bridge.log"
mkdir -p "$(dirname "$LOG")"
log() { printf '%s %s\n' "$(date -u +%Y-%m-%dT%H:%M:%SZ)" "$*" >>"$LOG"; }
case "$ACTION" in
keynote-export-pdf)
DECK="${1:?path to .key required}"
OUT="${2:?output .pdf path required}"
osascript <<EOF
tell application "Keynote"
activate
open POSIX file "$DECK"
delay 2
export front document to POSIX file "$OUT" as PDF
close front document saving no
end tell
EOF
log "keynote-export-pdf OK $OUT"
;;
set-volume)
PCT="${1:?0-100}"
osascript -e "set volume output volume $PCT"
log "set-volume $PCT"
;;
set-brightness)
PCT="${1:?0-100}"
osascript <<EOF
tell application "System Events"
tell appearance preferences
set brightness to ($PCT / 100)
end tell
end tell
EOF
log "set-brightness $PCT"
;;
run-automator)
WF="${1:?workflow path required}"
automator "$WF"
log "run-automator $WF"
;;
*)
echo "Usage: openclaw-mac-bridge {keynote-export-pdf|set-volume|set-brightness|run-automator} ..." >&2
exit 2
;;
esac
Sur Apple Silicon macOS 14+, la luminosité via appearance preferences peut exiger une session GUI connectée ; testez localement avant de brancher au chat.
Étape 2 — Rédiger SKILL.md pour le skill mac-desktop
Chemin : ~/.openclaw/skills/mac-desktop/SKILL.md (ajustez à votre racine de skills OpenClaw) :
# mac-desktop
Control this Mac's GUI via openclaw-mac-bridge. Only run actions the user explicitly requested.
## Commands
- keynote-export-pdf <path.key> <out.pdf>
- set-volume <0-100>
- set-brightness <0-100>
- run-automator <path.workflow>
## Safety
- Never export to paths outside ~/Documents/OpenClaw-Exports/
- Refuse destructive Finder/ Mail actions unless user names the target file
Enregistrez le skill dans la config agent (varie selon la version — calquez vos entrées skills: ["git", "nodejs"] dans openclaw.json).
Étape 3 — Autoriser le pont dans la politique d’outils agent
Si votre orchestrateur utilise des workers sandboxés, gardez le skill bureau uniquement sur l’agent orchestrateur avec sandbox.mode: off pour cet ID agent. Les workers qui éditent seulement du code ne doivent pas recevoir mac-desktop.
Étape 4 — Construire un workflow Automator (optionnel)
- Ouvrir Automator → Action rapide
- Enregistrer : Keynote → Fichier → Exporter vers → PDF (sauver dans
~/Documents/OpenClaw-Exports/) - Sauver comme
Export-Keynote-PDF.workflowsous~/Library/Services/ - Tester :
automator ~/Library/Services/Export-Keynote-PDF.workflow
Brancher via openclaw-mac-bridge run-automator … quand l’export AppleScript échoue sur votre version de Keynote.
Étape 5 — Accorder les permissions de confidentialité macOS
- Réglages Système → Confidentialité et sécurité → Automatisation — autoriser Terminal/iTerm (ou
node) à contrôler Keynote - Accessibilité — autoriser le même hôte pour les scripts de luminosité
System Events - Relancer le pont manuellement une fois ; approuver les invites
Étape 6 — Accrocher un déclencheur chat (conceptuel)
Dans vos règles de canal (Discord/Telegram/webhook), mappez une phrase vers une tâche orchestrateur :
When message matches ^/deck pdf (.+)$, call mac-desktop keynote-export-pdf with captured path.
La syntaxe exacte du hook dépend des plugins canal OpenClaw — traitez cela comme prompt système orchestrateur + outils autorisés, pas un routage magique.
Étape 7 — Vérifier avec openclaw doctor et un dry run
openclaw doctor
~/bin/openclaw-mac-bridge set-volume 25
~/bin/openclaw-mac-bridge keynote-export-pdf "$HOME/Desktop/demo.key" "$HOME/Documents/OpenClaw-Exports/demo.pdf"
Confirmez les octets PDF et les lignes de log dans ~/.openclaw/logs/mac-bridge.log.
Étape 8 — Garde-fous production
- Compte utilisateur dédié
automationavec éléments de trousseau Keynote uniquement - Limitation de débit : max 6 actions GUI/heure par canal
- Liste blanche : chemins deck sous
~/Documents/Decks/ - Associer les outils MCP pour DB/API ; garder le GUI sur le skill mac-desktop seulement
Dépannage
Erreur : execution error: Not authorized to send Apple events to Keynote
Modèle : (-1743) ou « Not authorized » dans stderr osascript.
Correctif : Réglages Système → Confidentialité et sécurité → Automatisation → activer votre app terminal → Keynote. Relancer le pont ; si SSH headless, exécuter une fois depuis une session Partage d’écran pour faire apparaître les invites.
Erreur : System Events got an error: Can’t set brightness
Modèle : le script réussit pour le volume mais échoue sur la luminosité.
Correctif : Accorder Accessibilité au Terminal ; assurer une session GUI connectée (pas launchd sans console). Repli : action Automator « Modifier la luminosité » au lieu d’AppleScript.
Scénario A — Chat de groupe « Envoyez le PDF »
Votre bot d’équipe entend : « exporter keynote pour l’appel investisseurs ». L’orchestrateur parse le nom du deck, appelle keynote-export-pdf, téléverse le PDF via un outil fichier séparé, et répond avec SHA256 + chemin. Latence : ~8–15 s pour un deck 40 slides sur M4 (disque + démarrage à froid Keynote). RAM : Keynote ajoute ~400–900 Mo pic — correct à côté d’un seul démon OpenClaw sur 16 Go ; évitez le fan-out parallèle sur le même hôte GUI.
Scénario B — Réinitialisation d’environnement avant enregistrement
Avant capture OBS, l’agent exécute set-volume 35 et set-brightness 60, puis lance Automator pour masquer les extras de barre de menu. Implication : Ce sont des changements globaux — documentez le rollback (set-volume 70) dans la même session skill.
Chemin recommandé
| Si vous… | Faites ceci |
|---|---|
| N’avez besoin que de fichiers/git/CI | Ignorez les skills GUI ; restez sur les outils shell |
| Avez besoin de Keynote/Pages/Finder | Pont AppleScript + SKILL.md sur l’agent orchestrateur |
| L’app n’a pas de dictionnaire | Workflow Automator + run-automator |
| Exécutez l’agent sur Mac distant | Assurez une connexion GUI persistante ; voir configuration OpenClaw distante |
| Avez besoin de 3+ agents parallèles | Ne partagez pas une session GUI — sérialisez les appels mac-desktop |
FAQ
OpenClaw peut-il exécuter AppleScript en session SSH headless ?
Seulement si macOS a une session WindowServer active pour l’utilisateur cible (connexion Partage d’écran, ou console locale). SSH pur sans connexion GUI échoue pour Keynote et le script UI System Events.
En quoi diffère-t-ce de l’orchestration multi-agents OpenClaw ?
L’orchestration multi-agents répartit les workers de raisonnement. L’automatisation bureau est un outil à privilège mono-hôte — exécutez-le sur un orchestrateur, pas en fan-out vers trois codeurs frappant Keynote simultanément.
AppleScript est-il sûr pour la production ?
Il est puissant, pas sûr par défaut. Traitez mac-desktop comme un shell production : listes blanches, journalisation, Mac dédié, pas d’e-mail personnel dans la même session utilisateur.
Cela fonctionne-t-il avec Claude Code ou Copilot CLI ?
Ces CLI n’embarquent pas le routeur de skills OpenClaw. Vous pouvez réutiliser le même script pont depuis un outil shell, mais vous perdez le routage canal centralisé — voir la comparaison benchmark pour choisir la stack.
Et les contraintes réseau ou le modèle Mac distant ?
Pour stabiliser les routes npm/API, de nombreuses équipes exécutent la passerelle sur un Mac distant toujours actif — même modèle que la configuration OpenClaw distante. AppleScript s’exécute toujours sur le bureau de ce Mac, pas sur votre portable local.
Guides associés
Avant de brancher les skills bureau sur le chat de prod, consultez l'orchestration multi-agents et l'installation OpenClaw sur Mac distant.