使用说明
功能模块

电脑操作

让 AI 在对话中操作电脑并查看实时操作画面,随时接管或停止。

查看操作画中画

对话中的电脑操作返回截图后,NewMax 会在当前活动窗口的当前对话中显示最新操作画面,分屏时跟随聚焦窗格;不会在其他对话或文件页面显示后台任务。它随操作截图更新,并非连续视频。

  • 点击电脑操作画面可回到对应任务;点击浏览器画面可定位到正在操作的标签页。
  • 当前对话的多个页面有预览时,点击页面选择按钮从列表切换。桌宠旁的浮窗可跨任务展示。
  • 当前对话的浏览器已在主标签区或工作台展示时,应用内画中画整体收起;工作台关闭或切到文件等其他内容后恢复,前提是任务仍在运行、有截图且未被手动隐藏。
  • 应用内点击左上角「×」直接隐藏当前任务的预览,不弹出菜单,任务继续运行,界面不保留空控制条。需要恢复时,右键侧栏中的对应对话(项目内对话同样支持),选择「显示操作画中画」。只有任务仍有已隐藏的预览时才显示此项。
  • 点击「移到桌宠旁」会唤醒桌宠并显示桌面浮窗,主界面同步收起预览和控制条。拖动桌宠时画中画跟随,点击浮窗的「×」(返回 NewMax)恢复任务内预览;收起桌宠也会返回 NewMax。
  • 如果操作页面已不可用,点击画面会回到对应任务。任务结束后自动清理预览,不保留截图历史。

使用入口

这项能力支持 Windows 和 macOS,并用于普通桌面对话。无需安装 Skill 或手动添加 MCP。首次使用前先打开「设置 → 电脑操作」,开启「任何应用」总开关,再在对话中说明要操作的应用和目标,例如:

  • 「打开 TextEdit,输入下面这段内容并保存到桌面」
  • 「查看系统设置里的当前 Wi-Fi 信息」
  • 「在 Finder 中打开下载目录并选中最新的 PDF」

NewMax 会先读取目标应用当前窗口,再根据可访问控件执行点击、输入、滚动、拖拽或快捷键操作。具体应用需要按审批卡选择「允许」「本次会话允许」或「始终允许」后才会继续;设置中的「始终允许」列表可随时撤销。「可见应用」会显示当前可发现应用的名称、稳定标识和应用图标;系统无法读取图标时显示通用电脑操作图标。

AI 选中并开始操作目标窗口后,窗口四周会显示蓝色边框,方便辨认当前受控范围。边框与目标窗口绑定:移动或恢复窗口时会同步跟随,最小化时会隐藏,切到其他应用后也不会浮在其他窗口上方。边框不会抢占焦点或拦截鼠标,任务完成、取消或失败后会自动消失。

首次授权

macOS 首次使用前通常还需要两项系统权限;可以直接在「设置 → 电脑操作 → 系统权限」查看状态,未授权的一项点「打开系统设置」:

  1. NewMax 会跳到「系统设置 → 隐私与安全性」的对应面板(辅助功能 / 屏幕录制),并在屏幕右下角弹出一个「在系统设置中完成授权」的小窗。
  2. 把小窗里的 NewMax 图标直接拖进系统设置的列表,然后打开它右侧的开关;如果列表里已经有 NewMax,直接打开开关即可,不必再拖。
  3. 授权成功后小窗会显示「已授权」并自动关闭,设置页的状态同步变为「已授权」;随时可以点小窗右上角的关闭按钮手动收起。
  4. 如果系统要求退出并重新打开 NewMax(屏幕录制常见),完成重启后在原对话中重新发送或继续任务。

Windows 不需要这两项 macOS 系统权限,但仍需开启相同的电脑操作总开关并完成应用审批。普通权限运行的 NewMax 无法操作以管理员身份运行的应用;这类窗口会在「可见应用」中显示为不可控制,也不能加入「始终允许」。

授权助手小窗打开期间 NewMax 会持续检查授权状态,从系统设置返回 NewMax 时设置页也会再复检一次;如果系统要求重启应用,重启后再继续原任务。

安全边界

  • 只描述当前任务需要操作的应用和动作;付款、发送、删除或覆盖文件等高影响操作,应在执行前核对目标与内容。
  • 对话的「完全权限」不会绕过电脑操作总开关;总开关关闭时,Windows 和 macOS 都不会加载此能力。
  • 「始终允许」按稳定应用标识保存:Windows 使用可执行文件标识,macOS 使用 Bundle ID,而不是可能重名的显示名称。
  • Windows 会检查实际桌面操作组件是否可用,并阻止普通权限进程控制管理员权限窗口;NewMax 不会通过自动提权绕过 Windows 的权限边界。
  • 需要立刻停止时,直接停止当前回复或发送「停止操作」。
  • 密码、验证码等敏感信息建议由你本人输入。AI 遇到登录、系统授权或无法可靠识别的控件时,应暂停并请你接管。
  • 这项能力面向有人值守的普通桌面对话,当前不用于定时任务或无人值守后台操作。

AI 操作时我还能用电脑吗

  • Windows 的电脑操作用的是真实键盘和鼠标:点击、输入、按键、滚动前会把目标窗口切到前台。审批卡会标注「将使用你的键盘和鼠标」。
  • 你在用键盘或鼠标时,AI 会先停下来,等你停手约 1.5 秒后再继续;你一直在操作超过约 8 秒,这一步会跳过并稍后重试,不会把按键打进你正在用的窗口。
  • 截图默认在后台进行,不切换前台窗口;只有目标窗口最小化等截不到的情况才会切到前台。
  • 输入文字时会临时借用剪贴板,完成后恢复原来的文字内容。需要专心输入时,可以先在「设置 → 电脑操作」里关闭总开关。
  • 内置浏览器里的网页自动化只作用于对应网页,不使用系统键鼠;公众号、X 文章一键发布会临时占用剪贴板,详见「发布」相关说明。

常见问题

提示没有辅助功能权限

在系统设置中开启 NewMax 的「辅助功能」权限。如果列表中已有 NewMax 但仍失败,可先关闭再重新开启,然后重启 NewMax。

截图为空或提示没有屏幕录制权限

开启 NewMax 的「屏幕录制」权限,并按 macOS 提示重启应用。权限变更前已启动的任务不会自动获得新权限,需要重新执行。

AI 找不到控件或点击位置不准

先把目标应用窗口切到前台,关闭遮挡它的弹窗,并明确说明窗口、按钮或字段名称。自绘控件、画布、远程桌面和游戏可能无法提供完整的辅助功能信息,可靠性会低于标准 macOS 控件。

Windows 应用显示为不可控制

如果目标应用以管理员身份运行,而 NewMax 使用普通权限运行,Windows 会阻止输入控制。请改用该应用的普通权限窗口;终端、NewMax、Codex 和 ChatGPT 自身也始终不可控制。

本页目录