用 AI 眼睛操控你的 Mac 桌面

TuriX-Mac 允许 Clawdbot 通过视觉方式控制 macOS 桌面，自动化执行应用操作、UI 导航等无 CLI/API 的任务。来源可信（GitHub 组织 TurixAI），适合复杂多步骤视觉工作流。

基本信息

• 技能名称?TuriX Computer Use
• 中文名称?用 AI 眼睛操控你的 Mac 桌面
• 作者?tongyu-yan
• 分类?专业技能
• 版本?1.0.8
• 标签?macos, automation, cua, gui-control, visual-agent, desktop-automation, multi-model-ai, screen-automation

使用方法

使用说明
核心用法
TuriX-Mac 是一个 Computer Use Agent (CUA) Skill，让 Clawdbot 能够像人类一样"看"屏幕并操作 macOS 桌面。它通过多模型架构（Brain 规划、Actor 执行、Planner 分解任务、Memory 保持上下文）实现视觉自动化。
典型场景 ：
打开应用并执行多步骤操作（如"打开 Spotify 播放我喜欢的歌曲"）
导航无 CLI/API 的图形界面应用
复杂视觉工作流（如"在邮件中找到最新发票并上传到企业门户"）
启动方式 ：

skills/local/turix-mac/scripts/run_turix.sh "打开 Chrome 访问 github.com" 支持断点续传（ --resume ）、后台运行（ --background ），以及通过 Skills 系统加载领域专属操作手册。

显著优点

1. 真正的视觉自动化 ：不依赖应用提供 API，通过屏幕截图和 UI 元素识别操作任何 macOS 应用
2. 多模型智能协作 ：Brain 理解任务→Planner 分解步骤→Actor 精确执行→Memory 保持上下文，支持复杂推理和自主规划
3. Skills 可扩展系统 ：可通过 Markdown 文件自定义领域 playbook（如 GitHub 操作、浏览器任务），提升特定场景可靠性
4. 中文 UTF-8 支持 ：使用 Python 安全处理中文输入，避免 shell 转码问题

5. 安全合规 ：通过 CLS-Certify A 级认证，无危险函数、无动态代码下载、无硬编码密钥

   潜在缺点与局限性
   | 问题 | 说明 | |------|------| | 启动延迟 | 首次加载 AI 模型需 2-5 分钟，不适合需要即时响应的场景 | | 运行速度 | GUI 操作天生较慢，文档创建等任务建议先用 Python 生成再让 TuriX 发送 | | 输出缓冲 | 后台运行时无法实时查看进度，需通过日志文件监控 | | 权限依赖 | 需要屏幕录制、辅助功能等系统权限，首次使用需手动授权 | | 路径敏感 | 必须正确设置 PATH="/usr/sbin:$PATH" 以找到 screencapture 工具 | | 步骤限制 | 默认最多 100 步，超复杂任务可能中断 | ---
   适合人群
   macOS 用户 ：需要自动化桌面操作但目标应用无 API
   工作流自动化者 ：跨多个 GUI 应用执行重复性任务
   非技术用户友好场景 ：Clawdbot 可替用户描述任务，TuriX 负责执行
   开发者 ：愿意配置 Conda 环境、处理权限设置的技术用户

   不适合 ：需要毫秒级响应、纯后台静默运行、或对隐私极度敏感不愿授予屏幕录制权限的场景。

   常规风险
   | 风险 | 等级 | 说明 | |------|------|------| | 屏幕录制权限 | 中 | 必须授予 Terminal/IDE 屏幕录制权限，这是功能必需但涉及隐私 | | 辅助功能权限 | 中 | 需要 Accessibility 权限以控制键盘和鼠标 | | 误操作风险 | 中 | 自动点击可能误触，建议先用非关键任务测试；紧急停止快捷键 Cmd+Shift+2 | | 环境变量读取 | 低 | 脚本读取 CONFIG_FILE、TASK_ARG 等自定义环境变量，用途合理 | | 外部命令执行 | 低 | 仅调用本地已安装的 Conda 和 TuriX，无远程代码 | 缓解措施 ：
   始终在受控环境中首次测试新任务
   使用 max_steps 限制步骤数
   敏感操作（如删除文件）添加显式确认
   定期检查 ~/.turix_tmp/logging.log 审计执行记录