前端只改了一个 div 的 ID，页面功能没有变化，数百条 Selenium 用例却可能同时报 element not found。
问题出在定位器。传统 UI 自动化记住的是元素地址，地址一变，脚本就得跟着修。Appium、Playwright 等工具依赖选择器和元素库，界面升级即使没有改动业务逻辑，也可能带来一轮维护。
多模态 Agent 换了一种执行方式。给它屏幕截图和一句任务，模型通过 GUI Grounding 圈出目标区域，再把位置换算成屏幕坐标，完成输入和点击。2024 年常见的演示还停留在“描述这张图”，到了 2026 年，测试团队更关心它能不能把操作走完。
DOM 仍然重要。变化在于，黑盒测试多了一层能看界面的执行器。
一句购物指令，省掉了多少选择器
一组 Web 和 App 对比测试选取了电商下单流程，包含搜索、筛选、加入购物车、填写地址和支付五个环节。参与测试的是基于 Llama 4 的视觉 Agent，以及 Qwen 3.5-VL 的定制化 Agent。
在这组测试里，元素库和脚本维护占 QA 总工时的 40% 以上。视觉 Agent 接到的指令只有一句：“帮我买一件 200 元以下、蓝色、且评分 4.5 以上的 T 恤。”
它根据截图寻找搜索框，输入关键词，设置筛选条件，再点击商品。用例层省去了逐步编写选择器和点击脚本的工作，执行记录、异常处理和回滚依然要由工程系统接住。
单一页面任务相对顺利，操作成功率超过 92%。这组对比中，Qwen 3.5-VL 对中文界面的语义理解更稳；遇到“比较两件商品的差价，再决定购买哪一件”这类任务时，Llama 4 的响应更快。这些结果只属于本次测试，不能直接外推到所有网站和 App。
页面晚动几百毫秒，点击就可能落空
Agent 看到画面、做出判断、送出点击，三件事之间存在时间差。
加载动画和全屏促销弹窗最容易钻进这个空隙。Agent 刚判断下一步该点“结算”，弹窗就在动作执行前盖住目标区域。即使经过端侧加速，VLM 推理仍有数百毫秒延迟。最终落下的点击，可能关掉弹窗，也可能进入广告页，后续步骤随之跑偏。
分辨率变化也会放大坐标误差。模型支持动态分辨率输入，但从 2K 屏切换到 1080P 屏时，右上角关闭叉号一类的小图标仍然难点准。本次测试记录到的误触率为 5%—8%。单次点击未必显眼，放进搜索、筛选、购物车、地址和支付这五段连续流程，失败会逐步累积。
十步以后，它可能忘了刚才点过什么
超过 10 个步骤后，Agent 容易丢失任务状态。
比如支付信息已经填写完成，只是网络波动让页面跳转变慢。Agent 如果把等待误判成点击失败，就会再次执行同一动作。重复点击会消耗 Token，也会干扰测试结果，甚至制造伪阳性。问题随即转向状态机、重试策略和成本控制。
正如《AI Agent 越跑越贵？把成本闸门装在调用前》讨论的那样，缺少重复动作识别和调用闸门，Agent 很容易在报错与重试之间持续消耗预算。
重试前至少要查两件事：
- 页面是否真的没有变化；
- 同一动作是否已经执行过。
缺少这两道检查，模型越积极，测试链路越容易失控。
视觉先圈位置，DOM 再确认能不能点
更稳的执行链路可以分成三步：VLM 先给出目标的大致区域，也就是 Bounding Box；系统检查该区域内的 Accessibility Tree 或 HTML 标签；结构确认无误后，再执行点击。
如果视觉上看起来是按钮，底层却只是一个没有点击事件的 div，Agent 就不该继续猜，而应重新寻找目标。视觉用来理解用户想点什么，DOM 和可访问性树负责确认这里究竟能不能点。
长链路还需要状态锚点。每完成一个主要步骤，例如进入支付页，系统就保存关键快照，并与预期页面比较。相似度低于 0.8 时，停止盲目重试，转为人工介入，或者回滚到上一个稳定状态。
在同一组测试中，“视觉引导—DOM 校验—动作执行”把长任务成功率从 65% 提高到 88%。这组数字不能当作行业基准，但它给出的信号很直接：许多失败无法只靠换一个更大的视觉模型解决。视觉模型会漏掉页面现成的结构信息，选择器又容易被 UI 改版拖住，两边互相校验更实际。
上生产前，先测它会不会停下来
到 2026 年下半年，Java、Python、Appium 和 Playwright 仍会留在 QA 的工具箱里。新增的维护对象包括自然语言用例、异常分支、状态锚点、知识图谱和成本闸门。QA 的工作不会缩成“调 Prompt”。
Agent 也已经进入大型行业活动的主议程。智源社区 2026 年 5 月 18 日转引的峰会预告把 Agent、多模态、应用和算力排进同一天议程，列出了 18 位嘉宾和 1 场 Agent 主题圆桌。
对测试团队来说，议程热度替代不了回归数据。真正的验收场景很具体：页面突然变化、网络速度下降、设备分辨率切换时，Agent 能否发现偏差，并在错误扩大前停下来。
让测试 Agent 直接运行在手机 NPU 上，是端侧 AI 可以继续尝试的方向。在此之前，企业评估这类工具时，不能只看一次成功的演示。沿用《开源模型进生产环境，别只盯着榜单和跑分》的判断方式，Tool Calling 失败后怎么处理、长上下文能否维持状态，更值得检查。
多模态 Agent 的“手”已经伸进 UI。真正能进生产的系统，至少要把三件事连起来：视觉找目标，结构确认动作，状态机识别偏差并决定暂停或回滚。点中一次不难；点错之后能收手，才是自动化测试愿意把长链路交给它的前提。
