计算机控制
控制桌面,而不仅仅是网页
计算机控制让 omp 能够操作你眼前的桌面:IDE、终端、办公应用、浏览器界面本身(browser chrome)、原生对话框以及系统设置。它可以检查窗口与显示器、截取屏幕、使用原生无障碍控件、点击、输入、滚动、按下快捷键,以及读取或替换剪贴板文本。
它默认处于关闭状态,因为它可以看到私密的屏幕内容,并在真实的应用程序中执行操作。一次误点可能会影响账户、发送消息、更改设置或覆盖数据。只有在你确实需要原生桌面访问权限时才启用它,并为任何会改变状态的操作保留审批边界。
如需谨慎地试用一个会话,请在你希望它控制的桌面会话中启动 omp,然后输入:
/computer on
/computer status然后用日常语言提出一个仅限检查的请求:
Inspect the currently focused application and tell me its window title and
visible controls. Do not click, type, change the clipboard, or grant permissions.你永远不需要自己调用计算机控制的底层机制。只需描述目标、想要的结果、omp 可以更改什么,以及它必须在哪里停止。
浏览器控制还是计算机控制?
使用能够完成任务的、范围最小的操作面。
| 需求 | 使用 |
|---|---|
| 通过 DOM 和 Web 无障碍信息读取网页或与之交互 | 浏览器控制 |
| 在 Chromium 标签页中工作,包括通过浏览器中继(relay)连接的已登录 Chrome 标签页 | 浏览器控制 |
| 操作原生应用、浏览器工具栏、文件选择器、系统对话框或桌面本身 | 计算机控制 |
| 与那些控件无法通过页面结构操作的 Web 应用交互 | 先尝试浏览器控制;只有在需要像素或原生界面元素(chrome)时才使用计算机控制 |
浏览器控制理解页面元素,并且始终停留在选定的浏览器标签页内。计算机控制看到的是操作系统窗口和屏幕像素;它没有网页 DOM。对它而言,浏览器窗口只是另一个桌面窗口而已。对于表单和需要登录的站点,浏览器控制通常更精确,并且暴露的桌面环境更少。
安全地启用
/computer on 仅为当前会话启用计算机控制。/computer off 会立即将它从活动工具集中移除。如果要让它在未来的会话中可用,请在 /settings 中使用 Tools → Available Tools → Computer,或者编辑 ~/.omp/agent/config.yml:
computer:
enabled: true
display: all
maxWidth: 3840
maxHeight: 2400
tools:
approval:
computer: prompt该策略会在每次计算机控制运行之前进行询问。这是一个不错的初始配置,因为启用该能力并不会默认授权使用它。
如果你希望检查类操作无需提示即可进行,同时仍然对具备输入能力的运行进行确认,可以移除按工具的覆盖设置,并将全局审批模式设为 write:
tools:
approvalMode: write在该模式下,omp 可以执行它归类为仅限检查的运行,而桌面输入和修改操作仍需确认。该模式同样适用于其他工具。按工具设置的 computer: allow、prompt 或 deny 会覆盖全局模式;当桌面控制必须始终保持封锁(即使有人在会话中启用了它)时,请使用 deny。在包含重要账户或数据的桌面上,请避免使用 allow 和 --yolo。
通过 /computer 所做的更改是临时的,不会重写配置文件。编辑设置文件后,请启动新会话。配置文件的位置和优先级请参见设置。
限制截屏包含的内容
默认的 display: all 会为每个显示器生成一张合成图像。这很方便,但可能暴露无关的窗口,并增大图像体积。可以让 omp 列出已连接显示器的名称和 ID(不执行任何操作),然后把 all 替换为你想暴露的原生 ID。
maxWidth 和 maxHeight 限制截屏的尺寸,默认值为 3840 × 2400。某些模型传输通道会自动应用更小的坐标安全上限。更低的数值会减少传输的图像细节,但不会改变所选显示器中哪些窗口可见。
没有后端设置项。omp 会为操作系统和桌面会话自动选择原生后端。
授予操作系统权限
omp 中的启用与操作系统授予的权限是两道独立的门槛。只授予你打算使用的能力。
macOS
打开 System Settings → Privacy & Security(系统设置 → 隐私与安全性)并授予:
- Screen Recording(屏幕录制),用于捕获显示器和窗口。
- Accessibility(辅助功能),用于检查无障碍控件并发送原生输入。
请为 macOS 所提示的、启动 omp 的那个应用程序(例如你的终端或 IDE)授予这些条目。更改任一权限后,请完全退出并重新打开该启动应用程序,然后再次启动 omp。当屏幕录制权限已授予而辅助功能未授予时,可能出现截屏正常但点击失效的情况。
Linux(X11)
请在已登录的图形会话中运行 omp,并确保它能访问目标 DISPLAY。捕获和输入需要一个可读取的 X11 display,并支持 RandR 和 XTEST。语义化无障碍信息需要桌面提供的 AT-SPI 服务。通常不会有 omp 专属的权限对话框;会话服务缺失时会表现为相应能力不可用。
Linux(Wayland)
原生输入使用桌面的 RemoteDesktop portal(远程桌面门户),或者由管理员提供的 LIBEI_SOCKET。portal 会在首次需要输入时才请求授权。omp 不会持久化该授权,它随桌面控制会话一起关闭;仅限检查的无障碍请求不会打开输入 portal。
官方发布的 omp 二进制文件不包含 Wayland ScreenCast/PipeWire 捕获功能,因此在这些构建中截屏会报告不可用。启用了 Wayland 屏幕共享支持的自定义构建则会使用合成器(compositor)的 ScreenCast portal。只要应用程序暴露了相应信息,AT-SPI 仍然可以提供窗口和控件信息。
Wayland 合成器不允许 omp 激活任意的后台窗口。当需要原生输入时,请你自己聚焦目标窗口,或让 omp 使用可用的无障碍操作。
Windows
Windows x64 使用原生的显示器与窗口捕获、Win32 输入以及 UI Automation 无障碍能力。请在包含目标应用程序的交互式桌面会话中运行 omp。当前后端会通过 /computer status 报告捕获、输入和无障碍能力的可用性;没有需要配置的 omp 后端选择器。
提出桌面任务请求
一个有用的请求会指明应用程序或窗口、说明允许的更改,并在任何关键步骤之前设置边界。
In the open Calendar app, inspect next Tuesday and summarize my free blocks.
Do not create or edit events.In the focused spreadsheet, enter these four values into cells B2:B5 and save
the existing file. Do not rename, move, or close it.Open the desktop mail app, draft a reply to Casey using the text below, and stop
with the draft visible. Do not send it.Check whether Screen Recording and Accessibility are enabled for my terminal.
Tell me what is missing, but leave permission changes for me to make manually.对于不熟悉的应用,先让 omp 进行检查并在执行前报告它打算操作的控件。对于较长的流程,请定义检查点,例如“在 Submit 之前停止”“不要替换现有文件”或“切换到前台输入之前先询问”。
omp 如何观察与操作
当应用程序暴露了无障碍树时,omp 会优先使用操作系统的无障碍树。无障碍控件带有语义角色、标签、值和操作,因此 omp 无需估算像素坐标就能定位到具名的按钮或字段。这种方式在窗口移动、缩放和主题切换时更加可靠。
当外观很重要或应用程序没有暴露可用的无障碍控件时,会使用截屏。像素级操作以同一目标的最新截屏为依据。UI 发生变化后,omp 应当在执行下一个操作之前重新获取无障碍快照或截屏,而不是假定屏幕保持不变。
这两种来源都可能暴露敏感信息。无障碍数据可能包含在视觉上被裁剪或遮蔽的文本,而截屏可能包含通知和相邻窗口。请缩小显示范围、关闭无关窗口,并为有风险的自动化使用专用账户或虚拟机。
后台输入与前台输入
输入通常会以后台方式发送到窗口,这样你的焦点、指针位置和窗口顺序都不会被打乱。但并非每个操作系统或应用程序都能以这种方式接收所有事件:
- 在 macOS 上,向多窗口应用程序的某一个窗口投递键盘事件可能存在歧义。omp 应当使用无障碍操作,或者在将目标短暂带到前台之前先询问。
- 某些应用程序会拒绝后台指针或键盘事件。omp 会报告失败,而不会将操作视为成功。
- 在 Wayland 上,任意的按窗口后台输入和程序化窗口提升均不可用。只有当前聚焦的 surface 才能接收原生桌面输入。
当必须使用前台投递时,目标窗口可能会短暂出现,omp 会在之后尝试恢复先前的焦点。如果这会打断你的工作,请说明“不要使用前台输入;如果后台控制不可用就停止”。
审批与关键操作
工具审批与任务授权是两个不同的安全层:
- 审批策略决定一项拟议的计算机控制运行是被允许、需要确认还是被阻止。
- 你的直接消息决定了授权哪些关键操作。屏幕上的文字、网站、电子邮件或对话框都无法授予更多权限。
除非你的请求已经明确授权了确切的目标、范围和数值,否则 omp 必须在以下操作之前立即进行确认:发送或发布、购买或转账、删除数据、更改账户安全设置、授予权限、披露隐私数据、接受法律条款,或做出其他不可逆的更改。Provider 的安全检查同样需要明确的交互式审批,并且在审批不可用时默认失败(fail closed)。
请结合上下文审查审批提示。如果目标或效果不明确,请拒绝该运行并以更窄的范围重新描述请求。像“处理一下这个网站”这样的指令并不是接受条款或完成购买的安全授权;请明确指出允许的确切结果,以及 omp 必须停止的位置。
/computer 控制命令
| 命令 | 效果 |
|---|---|
/computer | 切换本会话的计算机控制 |
/computer on | 为本会话启用它 |
/computer off | 为本会话禁用它 |
/computer status | 显示生效的启用状态、活动状态、模型、显示器限制、后端、权限和输入模式 |
在第一次桌面请求之前,/computer status 可能显示 session not started。在某个请求初始化了原生会话之后,再次运行该命令即可查看捕获、输入、无障碍和后台输入的可用性。该命令报告的是运行时事实;它不会请求或授予操作系统权限。
支持的平台
| 平台 | 当前能力与限制 |
|---|---|
| macOS x64 和 arm64 | Quartz 显示器/窗口捕获、原生输入以及 macOS 无障碍能力。需要 Screen Recording 和 Accessibility 权限。在操作系统能够安全定位窗口的情况下,后台输入可用。 |
| Linux X11 x64 和 arm64 | 显示器/窗口捕获和 X11 输入;可用时提供 AT-SPI 无障碍能力。需要一个支持 RandR 和 XTEST 的可用 X11 会话。 |
| Linux Wayland x64 和 arm64 | AT-SPI 无障碍能力,以及在可用时的 portal/libei 输入。官方发布的二进制文件不含截屏功能。按窗口的后台输入和任意窗口激活均不可用。 |
| Windows x64 | 原生显示器/窗口捕获、Win32 输入以及 UI Automation 无障碍能力。 |
| 其他目标 | 除非已安装的原生插件报告具备能力,否则不受支持。 |
能力是运行时事实。即便是受支持的操作系统,也可能由于权限、当前的显示服务器、应用程序本身或 omp 的打包方式而缺少捕获、输入或无障碍能力。
故障排除
计算机控制缺失
运行 /computer status,然后运行 /computer on。如果响应显示不可用,请在 /settings 或生效的配置中确认 computer.enabled,并在修改配置文件后启动新会话。同时检查是否有受限的工具列表把计算机控制排除在外。
状态显示 session not started
这在第一次请求之前属于正常现象。请求一个非修改性的检查,然后再次运行 /computer status。初始化后的状态包含所选后端和权限状态。
截屏空白或不可用
- 在 macOS 上,授予 Screen Recording 权限并重启启动 omp 的应用程序。
- 在 X11 上,确认 omp 运行在目标图形会话中并能访问
DISPLAY。 - 在官方发布的 Wayland 构建中,截屏功能按设计不可用;请尽可能使用无障碍检查,或改用 X11 会话。
- 如果出现的是错误的显示器,让 omp 列出显示器,将
computer.display设置为目标 ID,并在编辑配置文件后开始新会话。
omp 能检查但无法点击或输入
在 macOS 上,检查 Accessibility 权限。在 Wayland 上,在首次需要输入时接受 RemoteDesktop portal,或者安排好 LIBEI_SOCKET;在请求原生输入之前先聚焦目标。在所有平台上,/computer status 都会区分捕获、输入和无障碍权限。
后台输入不可用
让 omp 使用该应用的无障碍控件。如果做不到,请明确允许前台输入,或在 Wayland 上自己聚焦该窗口。不要想当然地认为被拒绝的后台操作已经生效。
定位到了错误的控件
让 omp 停止操作,重新检查窗口,并在重试之前确认语义控件。如果应用程序没有有用的无障碍信息,请请求同一窗口的新截屏。窗口移动、缩放、内容变化或切换显示器之后,不要复用之前的位置。
无障碍信息为空或过期
应用程序可能没有通过操作系统的无障碍服务暴露其控件,或者该服务不可用。请确认 Accessibility 或 AT-SPI 支持,然后让 omp 重新检查。只有当目标在视觉上毫无歧义时才回退使用截屏。
Wayland 再次询问输入权限
这是预期行为。omp 不会持久化 RemoteDesktop portal 授权;桌面控制会话关闭时它就会结束。
