AI 自動化

OpenClaw×AppleScript:Macネイティブアプリをエージェント操作(2026)

OpenClaw AppleScript Automator macOS デスクトップ自動化 2026
開示: KuzCloud は Mac ホスティング向けガイドを公開しています。本記事は技術ドキュメントです。OpenClaw は第三者の OSS です — openclaw.dev を参照してください。
要点: 多くの OpenClaw デプロイはターミナル内のテキストとシェルで止まります。macOS では、OpenClaw のスキル(SKILL.md)と、osascript(AppleScript)を呼び出すか Automator ワークフローを起動する小さなブリッジスクリプトを組み合わせることで、エージェントに物理デスクトップの「身体」を与えられます。Keynote を開き、PDF をエクスポートし、システム音量を調整したり、ディスプレイの明るさを下げたりできます。チャットトリガーはゲートウェイ側のままです。TCC プロンプト(アクセシビリティ / 自動化)を想定し、フル GUI 制御は高権限として扱ってください。

テキストのみの OpenClaw では macOS の力を活かしきれない理由

OpenClaw はリポジトリ、CI フック、マルチエージェントの扇出しに優れています。Mac mini や MacBook では、同じデーモンが SSH 経由でヘッドレス実行されることが多く、ファイルを編集して npm test を走らせますが、Mail、Keynote、Music、システム設定には触れません。

ワークフローが開発者向けではなくオペレーター向けのとき、このギャップは重要になります:

  • ステークホルダーがチームチャンネルに「deck v3 の PDF をエクスポート」と投稿する
  • 画面共有の録画前に明るさを下げたい
  • 夜間ジョブでスライドをアーカイブし、UI に手を触れたくない

macOS にはすでに接着剤があります:AppleScript はスクリプト可能なアプリと対話し、Automator は繰り返し可能な UI マクロをシェルから起動できる .workflow としてパッケージ化します。OpenClaw のスキルシステムが第三の柱です — モデルが呼び出してよい、文書化されたツールです。これらを接続すると、エージェントはサンドボックス内のチャットボットではなく、デスクトップに手を伸ばすローカルコンシェルジュになります。

本ガイドは OpenClaw がインストール済みであることを前提とします(セットアップ参考)。デスクトップ自動化に焦点を当て、オーケストレーション理論は扱いません。

アーキテクチャ:ゲートウェイ → スキル → ブリッジ → AppleScript / Automator

データフローを一文で:チャンネルメッセージ → OpenClaw ゲートウェイ → スキルハンドラ → /usr/local/bin/openclaw-mac-bridge → osascript または automator → ネイティブアプリまたは System Events。

レイヤー責務典型的なパス
ゲートウェイチャット/Webhook をエージェントへルーティングopenclaw デーモン
スキル(SKILL.md)引数、安全ルール、例を文書化~/.openclaw/skills/mac-desktop/SKILL.md
ブリッジ(bash)入力検証、ログ、macOS 呼び出し~/bin/openclaw-mac-bridge
AppleScriptアプリ動詞(Keynote、Finder)インラインまたは ~/Scripts/*.applescript
AutomatorAppleScript が脆いときの録画 UI~/Library/Services/Export-Keynote-PDF.workflow

Apple はAppleScript 言語ガイドでスクリプト可能なアプリを説明しています。System Events 経由の GUI スクリプトには、システム設定 → プライバシーとセキュリティでターミナル(または osascript)にアクセシビリティ権限が必要です。

セキュリティ姿勢: ブリッジスクリプトは専用の自動化 Mac(またはワイプ可能な VM/セッション)でのみ実行してください。フルデスクトップ制御とエージェントのシェルアクセスは、root 相当の UX — Worker のサンドボックス無効化と同クラスのリスクです。

意思決定マトリクス:AppleScript vs Automator vs シェルのみ

ニーズAppleScriptAutomator ワークフローシェル(openclaw ツールのみ)
Keynote PDF エクスポートネイティブ export コマンドAPI がない場合はメニュークリックを録画不可
音量 / 明るさSystem Eventsやりすぎosascript ワンライナー
非スクリプト可能な Electron アプリ脆いUI 録画の方が容易なことが多い不可
リモート Linux 上の CI該当なし該当なし可
監査可能、バージョン管理git 内の .applescriptgit 内の .workflow バンドルSKILL.md のみ
ヘッドレス SSH MacGUI セッションにログイン済みなら動作グラフィカルセッションが必要動作

ルール: アプリ辞書に動詞があれば AppleScript を優先;メニューバーのみの操作は Automator にフォールバック;ファイル/Git タスクはシェルに留めます。

ステップバイステップ Runbook:ブリッジ + SKILL.md + 3 アクション

ステップ 1 — ブリッジスクリプトを作成

~/bin/openclaw-mac-bridge として保存し、chmod +x します:

#!/usr/bin/env bash set -euo pipefail ACTION="${1:-}"; shift || true LOG="${HOME}/.openclaw/logs/mac-bridge.log" mkdir -p "$(dirname "$LOG")" log() { printf '%s %s\n' "$(date -u +%Y-%m-%dT%H:%M:%SZ)" "$*" >>"$LOG"; } case "$ACTION" in keynote-export-pdf) DECK="${1:?path to .key required}" OUT="${2:?output .pdf path required}" osascript <<EOF tell application "Keynote" activate open POSIX file "$DECK" delay 2 export front document to POSIX file "$OUT" as PDF close front document saving no end tell EOF log "keynote-export-pdf OK $OUT" ;; set-volume) PCT="${1:?0-100}" osascript -e "set volume output volume $PCT" log "set-volume $PCT" ;; set-brightness) PCT="${1:?0-100}" osascript <<EOF tell application "System Events" tell appearance preferences set brightness to ($PCT / 100) end tell end tell EOF log "set-brightness $PCT" ;; run-automator) WF="${1:?workflow path required}" automator "$WF" log "run-automator $WF" ;; *) echo "Usage: openclaw-mac-bridge {keynote-export-pdf|set-volume|set-brightness|run-automator} ..." >&2 exit 2 ;; esac

Apple Silicon macOS 14+ では、appearance preferences 経由の明るさ調整にはログイン済み GUI セッションが必要な場合があります。チャットに接続する前にローカルでテストしてください。

ステップ 2 — mac-desktop スキルの SKILL.md を作成

パス:~/.openclaw/skills/mac-desktop/SKILL.md(OpenClaw スキルルートに合わせて調整):

# mac-desktop Control this Mac's GUI via openclaw-mac-bridge. Only run actions the user explicitly requested. ## Commands - keynote-export-pdf <path.key> <out.pdf> - set-volume <0-100> - set-brightness <0-100> - run-automator <path.workflow> ## Safety - Never export to paths outside ~/Documents/OpenClaw-Exports/ - Refuse destructive Finder/ Mail actions unless user names the target file

エージェント設定にスキルを登録します(リリースにより異なります — openclaw.json の既存 skills: ["git", "nodejs"] エントリを参考にしてください)。

ステップ 3 — エージェントツールポリシーでブリッジを許可

オーケストレーターがサンドボックス Worker を使う場合、デスクトップスキルはオーケストレーターエージェントのみに付与し、その agent ID で sandbox.mode: off にします。コード編集のみの Worker には mac-desktop を渡しません。

ステップ 4 — Automator ワークフローを構築(任意)

  1. Automator → クイックアクションを開く
  2. 録画:Keynote → ファイル → 書き出す → PDF(~/Documents/OpenClaw-Exports/ に保存)
  3. ~/Library/Services/ 配下に Export-Keynote-PDF.workflow として保存
  4. テスト:automator ~/Library/Services/Export-Keynote-PDF.workflow

Keynote バージョンで AppleScript エクスポートが失敗する場合は、openclaw-mac-bridge run-automator … で接続します。

ステップ 5 — macOS プライバシー権限を付与

  1. システム設定 → プライバシーとセキュリティ → 自動化 — ターミナル/iTerm(または node)が Keynote を制御することを許可
  2. アクセシビリティ — 同じホストで System Events 明るさスクリプトを許可
  3. ブリッジを手動で再実行し、プロンプトを承認

ステップ 6 — チャットトリガーをフック(概念例)

チャンネルルール(Discord/Telegram/Webhook)で、フレーズをオーケストレータータスクにマップします:

When message matches ^/deck pdf (.+)$, call mac-desktop keynote-export-pdf with captured path.

正確なフック構文は OpenClaw チャンネルプラグインにより異なります — 魔法のルーティングではなく、オーケストレーターのシステムプロンプト + 許可ツールとして扱ってください。

ステップ 7 — openclaw doctor とドライランで検証

openclaw doctor ~/bin/openclaw-mac-bridge set-volume 25 ~/bin/openclaw-mac-bridge keynote-export-pdf "$HOME/Desktop/demo.key" "$HOME/Documents/OpenClaw-Exports/demo.pdf"

PDF バイトと ~/.openclaw/logs/mac-bridge.log のログ行を確認します。

ステップ 8 — 本番ガードレール

  • 専用ユーザーアカウント automation — Keynote 用のみのログインキーチェーン項目
  • レート制限:チャンネルあたり最大 6 GUI アクション/時
  • 許可リスト:~/Documents/Decks/ 配下の deck パス
  • DB/API は MCP ツールと組み合わせ;GUI は mac-desktop スキルのみ

トラブルシューティング

エラー:execution error: Not authorized to send Apple events to Keynote

パターン: osascript 標準エラーに (-1743) または「Not authorized」。

修正: システム設定 → プライバシーとセキュリティ → 自動化 → ターミナルアプリ → Keynote を有効化。ヘッドレス SSH の場合は、画面共有セッションから一度実行し、プロンプトを表示させます。

エラー:System Events got an error: Can’t set brightness

パターン: 音量は成功するが明るさで失敗。

修正: ターミナルにアクセシビリティを付与;ログイン済み GUI セッションを確保(コンソールなしの launchd では不可)。フォールバック:AppleScript の代わりに Automator の「明るさを変更」アクションを使用。

シナリオ A — グループチャット「PDF を出して」

チームボットが「投資家向けミーティング用に keynote をエクスポート」と聞き取ります。オーケストレーターが deck 名を解析し、keynote-export-pdf を呼び出し、別のファイルツールで PDF をアップロードし、SHA256 とパスで返信します。レイテンシ: M4 上で 40 スライド deck 約 8–15 秒(ディスク + Keynote コールドスタート)。RAM: Keynote はピーク約 400–900 MB — 16 GB で単一 OpenClaw デーモンなら問題なし;同一 GUI ホストでの並列扇出しは避けてください。

シナリオ B — 録画前の環境リセット

OBS キャプチャ前に、エージェントが set-volume 35 と set-brightness 60 を実行し、Automator でメニューバー extras を非表示にします。注意: これらはグローバル変更です — 同じスキルセッションでロールバック(set-volume 70)を文書化してください。

もしあなたが…こうする
ファイル/Git/CI のみ必要GUI スキルをスキップ;シェルツールのまま
Keynote/Pages/Finder が必要オーケストレーターエージェント上の AppleScript ブリッジ + SKILL.md
アプリに辞書がないAutomator ワークフロー + run-automator
リモート Mac でエージェント実行永続 GUI ログインを確保;リモート OpenClaw セットアップを参照
3+ 並列エージェントが必要同一 GUI セッションを共有しない — mac-desktop 呼び出しを直列化

FAQ

OpenClaw はヘッドレス SSH セッションで AppleScript を実行できますか?

対象ユーザーにアクティブな WindowServer セッション(画面共有ログイン、またはローカルコンソール)がある場合のみです。GUI ログインなしの純粋な SSH では、Keynote と System Events の UI スクリプトは失敗します。

OpenClaw マルチエージェントオーケストレーションとの違いは?

マルチエージェントオーケストレーションは推論 Workerを分割します。デスクトップ自動化は単一ホストの特権ツール — 1 つのオーケストレーターで実行し、3 つのコーダーが同時に Keynote を操作する扇出しは避けてください。

AppleScript は本番向けですか?

強力ですが、デフォルトでは安全ではありません。mac-desktop を本番シェルと同様に扱い、許可リスト、ログ、専用 Mac、同一ユーザーセッションに個人メールを置かないでください。

Claude Code や Copilot CLI でも使えますか?

これらの CLI には OpenClaw のスキルルーターは付属しません。シェルツールから同じブリッジスクリプトを再利用できますが、集中型チャンネルルーティングは失われます — スタック選定はベンチマーク比較を参照してください。

ネットワーク制約やリモート Mac パターンはどう扱いますか?

npm/API ルートを安定させるため、多くのチームはゲートウェイを常時稼働のリモート Mac上で実行します — OpenClaw リモートセットアップと同じパターンです。AppleScript はその Mac のデスクトップ上で実行され、ローカルノート PC 上ではありません。

関連ガイド

デスクトップスキルを本番チャットに接続する前に、マルチエージェント編成とリモート Mac セットアップを確認してください。