OpenClaw×AppleScript:Macネイティブアプリをエージェント操作(2026)
SKILL.md)と、osascript(AppleScript)を呼び出すか Automator ワークフローを起動する小さなブリッジスクリプトを組み合わせることで、エージェントに物理デスクトップの「身体」を与えられます。Keynote を開き、PDF をエクスポートし、システム音量を調整したり、ディスプレイの明るさを下げたりできます。チャットトリガーはゲートウェイ側のままです。TCC プロンプト(アクセシビリティ / 自動化)を想定し、フル GUI 制御は高権限として扱ってください。
テキストのみの OpenClaw では macOS の力を活かしきれない理由
OpenClaw はリポジトリ、CI フック、マルチエージェントの扇出しに優れています。Mac mini や MacBook では、同じデーモンが SSH 経由でヘッドレス実行されることが多く、ファイルを編集して npm test を走らせますが、Mail、Keynote、Music、システム設定には触れません。
ワークフローが開発者向けではなくオペレーター向けのとき、このギャップは重要になります:
- ステークホルダーがチームチャンネルに「deck v3 の PDF をエクスポート」と投稿する
- 画面共有の録画前に明るさを下げたい
- 夜間ジョブでスライドをアーカイブし、UI に手を触れたくない
macOS にはすでに接着剤があります:AppleScript はスクリプト可能なアプリと対話し、Automator は繰り返し可能な UI マクロをシェルから起動できる .workflow としてパッケージ化します。OpenClaw のスキルシステムが第三の柱です — モデルが呼び出してよい、文書化されたツールです。これらを接続すると、エージェントはサンドボックス内のチャットボットではなく、デスクトップに手を伸ばすローカルコンシェルジュになります。
本ガイドは OpenClaw がインストール済みであることを前提とします(セットアップ参考)。デスクトップ自動化に焦点を当て、オーケストレーション理論は扱いません。
アーキテクチャ:ゲートウェイ → スキル → ブリッジ → AppleScript / Automator
データフローを一文で:チャンネルメッセージ → OpenClaw ゲートウェイ → スキルハンドラ → /usr/local/bin/openclaw-mac-bridge → osascript または automator → ネイティブアプリまたは System Events。
| レイヤー | 責務 | 典型的なパス |
|---|---|---|
| ゲートウェイ | チャット/Webhook をエージェントへルーティング | openclaw デーモン |
スキル(SKILL.md) | 引数、安全ルール、例を文書化 | ~/.openclaw/skills/mac-desktop/SKILL.md |
| ブリッジ(bash) | 入力検証、ログ、macOS 呼び出し | ~/bin/openclaw-mac-bridge |
| AppleScript | アプリ動詞(Keynote、Finder) | インラインまたは ~/Scripts/*.applescript |
| Automator | AppleScript が脆いときの録画 UI | ~/Library/Services/Export-Keynote-PDF.workflow |
Apple はAppleScript 言語ガイドでスクリプト可能なアプリを説明しています。System Events 経由の GUI スクリプトには、システム設定 → プライバシーとセキュリティでターミナル(または osascript)にアクセシビリティ権限が必要です。
セキュリティ姿勢: ブリッジスクリプトは専用の自動化 Mac(またはワイプ可能な VM/セッション)でのみ実行してください。フルデスクトップ制御とエージェントのシェルアクセスは、root 相当の UX — Worker のサンドボックス無効化と同クラスのリスクです。
意思決定マトリクス:AppleScript vs Automator vs シェルのみ
| ニーズ | AppleScript | Automator ワークフロー | シェル(openclaw ツールのみ) |
|---|---|---|---|
| Keynote PDF エクスポート | ネイティブ export コマンド | API がない場合はメニュークリックを録画 | 不可 |
| 音量 / 明るさ | System Events | やりすぎ | osascript ワンライナー |
| 非スクリプト可能な Electron アプリ | 脆い | UI 録画の方が容易なことが多い | 不可 |
| リモート Linux 上の CI | 該当なし | 該当なし | 可 |
| 監査可能、バージョン管理 | git 内の .applescript | git 内の .workflow バンドル | SKILL.md のみ |
| ヘッドレス SSH Mac | GUI セッションにログイン済みなら動作 | グラフィカルセッションが必要 | 動作 |
ルール: アプリ辞書に動詞があれば AppleScript を優先;メニューバーのみの操作は Automator にフォールバック;ファイル/Git タスクはシェルに留めます。
ステップバイステップ Runbook:ブリッジ + SKILL.md + 3 アクション
ステップ 1 — ブリッジスクリプトを作成
~/bin/openclaw-mac-bridge として保存し、chmod +x します:
#!/usr/bin/env bash
set -euo pipefail
ACTION="${1:-}"; shift || true
LOG="${HOME}/.openclaw/logs/mac-bridge.log"
mkdir -p "$(dirname "$LOG")"
log() { printf '%s %s\n' "$(date -u +%Y-%m-%dT%H:%M:%SZ)" "$*" >>"$LOG"; }
case "$ACTION" in
keynote-export-pdf)
DECK="${1:?path to .key required}"
OUT="${2:?output .pdf path required}"
osascript <<EOF
tell application "Keynote"
activate
open POSIX file "$DECK"
delay 2
export front document to POSIX file "$OUT" as PDF
close front document saving no
end tell
EOF
log "keynote-export-pdf OK $OUT"
;;
set-volume)
PCT="${1:?0-100}"
osascript -e "set volume output volume $PCT"
log "set-volume $PCT"
;;
set-brightness)
PCT="${1:?0-100}"
osascript <<EOF
tell application "System Events"
tell appearance preferences
set brightness to ($PCT / 100)
end tell
end tell
EOF
log "set-brightness $PCT"
;;
run-automator)
WF="${1:?workflow path required}"
automator "$WF"
log "run-automator $WF"
;;
*)
echo "Usage: openclaw-mac-bridge {keynote-export-pdf|set-volume|set-brightness|run-automator} ..." >&2
exit 2
;;
esac
Apple Silicon macOS 14+ では、appearance preferences 経由の明るさ調整にはログイン済み GUI セッションが必要な場合があります。チャットに接続する前にローカルでテストしてください。
ステップ 2 — mac-desktop スキルの SKILL.md を作成
パス:~/.openclaw/skills/mac-desktop/SKILL.md(OpenClaw スキルルートに合わせて調整):
# mac-desktop
Control this Mac's GUI via openclaw-mac-bridge. Only run actions the user explicitly requested.
## Commands
- keynote-export-pdf <path.key> <out.pdf>
- set-volume <0-100>
- set-brightness <0-100>
- run-automator <path.workflow>
## Safety
- Never export to paths outside ~/Documents/OpenClaw-Exports/
- Refuse destructive Finder/ Mail actions unless user names the target file
エージェント設定にスキルを登録します(リリースにより異なります — openclaw.json の既存 skills: ["git", "nodejs"] エントリを参考にしてください)。
ステップ 3 — エージェントツールポリシーでブリッジを許可
オーケストレーターがサンドボックス Worker を使う場合、デスクトップスキルはオーケストレーターエージェントのみに付与し、その agent ID で sandbox.mode: off にします。コード編集のみの Worker には mac-desktop を渡しません。
ステップ 4 — Automator ワークフローを構築(任意)
- Automator → クイックアクションを開く
- 録画:Keynote → ファイル → 書き出す → PDF(
~/Documents/OpenClaw-Exports/に保存) ~/Library/Services/配下にExport-Keynote-PDF.workflowとして保存- テスト:
automator ~/Library/Services/Export-Keynote-PDF.workflow
Keynote バージョンで AppleScript エクスポートが失敗する場合は、openclaw-mac-bridge run-automator … で接続します。
ステップ 5 — macOS プライバシー権限を付与
- システム設定 → プライバシーとセキュリティ → 自動化 — ターミナル/iTerm(または
node)が Keynote を制御することを許可 - アクセシビリティ — 同じホストで
System Events明るさスクリプトを許可 - ブリッジを手動で再実行し、プロンプトを承認
ステップ 6 — チャットトリガーをフック(概念例)
チャンネルルール(Discord/Telegram/Webhook)で、フレーズをオーケストレータータスクにマップします:
When message matches ^/deck pdf (.+)$, call mac-desktop keynote-export-pdf with captured path.
正確なフック構文は OpenClaw チャンネルプラグインにより異なります — 魔法のルーティングではなく、オーケストレーターのシステムプロンプト + 許可ツールとして扱ってください。
ステップ 7 — openclaw doctor とドライランで検証
openclaw doctor
~/bin/openclaw-mac-bridge set-volume 25
~/bin/openclaw-mac-bridge keynote-export-pdf "$HOME/Desktop/demo.key" "$HOME/Documents/OpenClaw-Exports/demo.pdf"
PDF バイトと ~/.openclaw/logs/mac-bridge.log のログ行を確認します。
ステップ 8 — 本番ガードレール
- 専用ユーザーアカウント
automation— Keynote 用のみのログインキーチェーン項目 - レート制限:チャンネルあたり最大 6 GUI アクション/時
- 許可リスト:
~/Documents/Decks/配下の deck パス - DB/API は MCP ツールと組み合わせ;GUI は mac-desktop スキルのみ
トラブルシューティング
エラー:execution error: Not authorized to send Apple events to Keynote
パターン: osascript 標準エラーに (-1743) または「Not authorized」。
修正: システム設定 → プライバシーとセキュリティ → 自動化 → ターミナルアプリ → Keynote を有効化。ヘッドレス SSH の場合は、画面共有セッションから一度実行し、プロンプトを表示させます。
エラー:System Events got an error: Can’t set brightness
パターン: 音量は成功するが明るさで失敗。
修正: ターミナルにアクセシビリティを付与;ログイン済み GUI セッションを確保(コンソールなしの launchd では不可)。フォールバック:AppleScript の代わりに Automator の「明るさを変更」アクションを使用。
シナリオ A — グループチャット「PDF を出して」
チームボットが「投資家向けミーティング用に keynote をエクスポート」と聞き取ります。オーケストレーターが deck 名を解析し、keynote-export-pdf を呼び出し、別のファイルツールで PDF をアップロードし、SHA256 とパスで返信します。レイテンシ: M4 上で 40 スライド deck 約 8–15 秒(ディスク + Keynote コールドスタート)。RAM: Keynote はピーク約 400–900 MB — 16 GB で単一 OpenClaw デーモンなら問題なし;同一 GUI ホストでの並列扇出しは避けてください。
シナリオ B — 録画前の環境リセット
OBS キャプチャ前に、エージェントが set-volume 35 と set-brightness 60 を実行し、Automator でメニューバー extras を非表示にします。注意: これらはグローバル変更です — 同じスキルセッションでロールバック(set-volume 70)を文書化してください。
推奨パス
| もしあなたが… | こうする |
|---|---|
| ファイル/Git/CI のみ必要 | GUI スキルをスキップ;シェルツールのまま |
| Keynote/Pages/Finder が必要 | オーケストレーターエージェント上の AppleScript ブリッジ + SKILL.md |
| アプリに辞書がない | Automator ワークフロー + run-automator |
| リモート Mac でエージェント実行 | 永続 GUI ログインを確保;リモート OpenClaw セットアップを参照 |
| 3+ 並列エージェントが必要 | 同一 GUI セッションを共有しない — mac-desktop 呼び出しを直列化 |
FAQ
OpenClaw はヘッドレス SSH セッションで AppleScript を実行できますか?
対象ユーザーにアクティブな WindowServer セッション(画面共有ログイン、またはローカルコンソール)がある場合のみです。GUI ログインなしの純粋な SSH では、Keynote と System Events の UI スクリプトは失敗します。
OpenClaw マルチエージェントオーケストレーションとの違いは?
マルチエージェントオーケストレーションは推論 Workerを分割します。デスクトップ自動化は単一ホストの特権ツール — 1 つのオーケストレーターで実行し、3 つのコーダーが同時に Keynote を操作する扇出しは避けてください。
AppleScript は本番向けですか?
強力ですが、デフォルトでは安全ではありません。mac-desktop を本番シェルと同様に扱い、許可リスト、ログ、専用 Mac、同一ユーザーセッションに個人メールを置かないでください。
Claude Code や Copilot CLI でも使えますか?
これらの CLI には OpenClaw のスキルルーターは付属しません。シェルツールから同じブリッジスクリプトを再利用できますが、集中型チャンネルルーティングは失われます — スタック選定はベンチマーク比較を参照してください。
ネットワーク制約やリモート Mac パターンはどう扱いますか?
npm/API ルートを安定させるため、多くのチームはゲートウェイを常時稼働のリモート Mac上で実行します — OpenClaw リモートセットアップと同じパターンです。AppleScript はその Mac のデスクトップ上で実行され、ローカルノート PC 上ではありません。