#AI 操作當前介面（實驗性）

Aino 可以讓右側 AI Agent 通過“像使用者一樣操作介面”的方式控制當前桌面應用。開啟後，AI 不只會讀寫 Vault 檔案，還能觀察當前 Aino 視窗、點選按鈕、切換檔案、在編輯器輸入內容，或操作內建瀏覽器中開啟的網頁。

#適合什麼時候用

檔案工具適合直接讀寫 Markdown；AI 操作當前介面適合處理“必須通過介面完成”的任務：

• 在左側檔案樹中開啟某個筆記或資料夾
• 在中間 Markdown 編輯器裡定位、輸入或切換編輯模式
• 在內建瀏覽器網頁中點選按鈕、等待頁面變化
• 在右側任務列表裡勾選任務或切換面板
• 讓 AI 邊操作邊確認介面是否出現了預期文本

如果只是建立、搜尋或批次修改筆記，優先使用 AI 智慧聊天 中的 Edit / Agent 模式；AI 操作當前介面更適合驗證 UI 狀態和跨面板操作。

#如何開啟

1. 開啟 設定 → 實驗特性
2. 開啟 允許 AI 操作當前介面（實驗性）
3. Aino 會提示載入 aino-desktop-automation Skill
4. 你確認後，開關才會真正啟用

開啟後，右側 AI Agent 會獲得頁面控制工具：觀察當前介面、點選、輸入、按鍵，以及等待某段文本出現。

#可以控制哪些區域

當前能力面向正在執行的 Aino Desktop 視窗：

AI 每次執行前通常會先觀察頁面快照，再根據可見文本、按鈕、輸入框或穩定的介面標識來點選和輸入。

#Prompt 示例

你可以直接在右側 Agent 模式裡描述目標：

請先觀察當前 Aino 介面，然後開啟左側的「專案計劃.md」。
在編輯器末尾追加一條待辦：- [ ] 給自動化控制寫文件。
最後開啟右側任務列表，確認這條任務已經出現。

操作內建網頁時，可以這樣寫：

請觀察當前內建瀏覽器頁面，點選頁面裡的「繼續」按鈕。
等頁面出現「完成」後告訴我結果。每一步都先確認頁面狀態。

#與許可權開關的關係

AI 操作當前介面只控制“看見的介面”。它不會自動繞過其他安全設定：

• 允許寫入 / 更新工具：控制普通模型和 MCP 寫入類工具是否可用
• 允許刪除工具：控制刪除類 MCP 工具是否可用
• AI 操作當前介面：位於 設定 → 實驗特性，控制 AI 是否能操作當前 Aino 視窗

如果 AI 通過介面點選了刪除按鈕或提交按鈕，這仍然是真實介面操作。進行敏感操作前，應讓 AI 先說明計劃並等待你的確認。

#給 CLI Agent 使用

開啟該開關後，本機 CLI Agent 也可以通過 aino-desktop-automation Skill 使用同一條本地橋接能力。適合你在 Claude Code / Codex 等環境裡說：

使用 aino-desktop-automation 觀察當前 Aino Desktop，開啟任務列表並確認今天的未完成任務。

如果橋接未開啟，CLI 會提示找不到本地 bridge 或狀態檔案。這時回到 Aino 的 設定 → 實驗特性 開啟即可。

#限制

• 這是實驗效能力，介面佈局變化可能導致 AI 需要重新觀察和定位
• 它適合操作當前可見視窗，不適合後臺批次處理大量檔案
• 對檔案內容的大規模修改，仍建議使用 Edit / Agent 模式中的檔案工具並走 diff 稽核

#相關操作

• AI 智慧聊天 — 瞭解 Ask / Edit / Agent 模式
• MCP 伺服器整合 — 為 AI 擴充套件外部工具
• LifeOS Skill — 讓外部 Agent 理解 LifeOS Vault 結構