多模态 Agent 会点按钮了,测试脚本为什么还得留着
多模态 Agent 已能根据截图和指令完成搜索、筛选与点击,但弹窗、分辨率变化和长链路状态丢失仍会让坐标失效。更稳的方案,是让视觉负责找目标,DOM 与可访问性树负责校验,再用状态快照控制重试和回滚。
阅读全文关键词:GUI 理解
多模态 Agent 已能根据截图和指令完成搜索、筛选与点击,但弹窗、分辨率变化和长链路状态丢失仍会让坐标失效。更稳的方案,是让视觉负责找目标,DOM 与可访问性树负责校验,再用状态快照控制重试和回滚。
阅读全文