你让 Hermes 帮你“登录这个网站把发票拉出来”——以前它只能在另一个你看不见的浏览器里折腾，登录态全丢，操作完还得让你自己看结果。现在不一样了：Hermes Desktop 的 Preview Pane（预览窗格）打通了——agent 可以直接操作你眼前这个应用内浏览器，用你已经登录的会话，一步一步点给你看。8 月 19–20 日合入 main 的一批改动，把这块从“单向镜子”变成了完整闭环。

打通的全貌：一套完整的工具链

之前 Preview Pane 是单向镜子：open_preview 把页面放进窗格、read_preview 读回文字，但 agent 永远摸不到页面。现在桌面端工具集多了一整套：

工具	作用
open_preview	打开页面到窗格（原有）
read_preview	读回页面文本（原有）
drive_preview	操作页面：elements 列出可点可输入的元素，然后 click/type/scroll/press 直接动手，back/forward/reload 驱动历史
annotate_preview	在元素上挂一个标记（“点这里”），只指路不操作
close_preview	关闭整个窗格或指定标签页（8/19 新增——以前 agent 只能求你点 ✕）

另外浏览器栏多了“在系统浏览器打开“按钮和”复制 URL“按钮（SSH 网关上自动用转发地址），聊天里的链接也有右键菜单：应用内打开或系统浏览器打开——应用内浏览器和你的日常浏览器终于互通了。

“丝滑”的工程秘密

真正让操作体验脱胎换骨的，是三个底层设计：

1. 增量 diff 读取，不再整页搬运。 以前每次“看”页面都要重新发一整份页面清单。现在：只有第一次返回完整清单，之后的每一次只返回变化的部分——added（新元素全量）、changed（携带句柄和实际变化的 label/value/disabled）、removed/rebound（裸列表）。实测一个 85 元素的界面：基础载荷从 18,693 字符降到 4,930，一个平稳的操作回合只要 约 200 字符——十步任务以前要付十次几乎没变的页面拷贝，现在一次都不用多付。只有页面一半是新的，才触发全量重读。

2. 元素句柄持久化，框架重绘也不丢。 元素按“是什么+说什么”命名（btn-sign-in、inp-email），并记住它的稳定属性、角色、无障碍名称和所在 landmark。前端框架销毁节点重建时，句柄自动重绑定（agent 收到 rebound 而不是“元素没了+新元素出现”两件事）。顺带砍掉了跟着每个元素跑的选择器链（:nth-child）——它在 85 元素页面上占 74% 的载荷，且兄弟节点一变就失效；现在优先用 #id 或 [data-testid]。

3. 真实输入，不是合成事件。 操作走 Chromium 的 sendInputEvent——页面无法区分这是用户还是 agent 点的，hover/focus 状态完全正常（合成事件会留下“没有用户能点出这个状态”的破绽，React 类框架还会吞掉伪造的输入事件）。引擎注入仍然存在，但只负责解析句柄、测量节点、读回页面——动手的一下是真实坐标上的真实输入。

可监督性：看得见，才敢让它动

驱动一个“你已经登录的浏览器”和驱动一次性浏览器完全不同。所以窗格会实时说出 agent 正在做什么：它正在考虑哪个字段、瞄准哪个元素、点击落在哪、刚读了什么文本。整个思考阶段（20–100 秒）脉冲持续显示——你瞥一眼就能知道 agent 要对你的实时会话做什么，随时可以叫停。这不是给 agent 的自由操作，而是给你看着它操作。

能做什么

• 登录态任务：“登录后台把发票拉出来”——在窗格里直接完成，用你已经登录的会话；
• 表单填写：elements 找输入框 → type 填入 → 点提交，全程可见；
• 对照操作：annotate_preview 在目标元素上挂标记，agent 只指路，你来点（适合“你帮我把这个改一下”的协作场景）；
• 关闭收尾：操作完 close_preview 自己关窗格，不用求你。

发布状态与获取

这批能力（#90197 / #90239 / #89366）已于 8 月 19–20 日合入 main，尚未随正式版本发布（最新仍为 v0.20.5）。想尝鲜：hermes update --branch main 或等下一个 release。它和既有的 browser_* 工具（驱动独立 Chromium）是互补关系：Preview Pane 面向“你眼前的、已登录的浏览器”，browser_* 面向无人值守的自动化——选哪个取决于你要不要“看着它做”。更多桌面端新能力见《Hermes 桌面端技能中心》和《Bot Mode 全拆解》，浏览器操作在《4 个隐藏技巧》里也有概览。

总结

Preview Pane 打通这件事，本质是把“agent 操作网页”从后台黑盒变成了眼前可见、随时可停的协作：增量读取让它快，句柄重绑定让它稳，真实输入让它真，实时播报让你放心。装上 main 版试试，让 Hermes 当着你的面操作一次网页——那种“丝滑”是以前完全不一样的体验。