2026年6月，一家跨境电商公司的运营总监发现，过去三年花大价钱买的 RPA 脚本全废了。因为 Shopify 前端改版，原本靠抓取 DOM 节点定位“上架”按钮的脚本全线报错。取而代之的，是一个基于 Multi-modal Agent 的自动化工作流：它直接截屏，用视觉模型“看”到了坐标，移动鼠标，完成了点击。
这标志着 2026 AI 工具的竞争焦点彻底从“生成内容”转向了“执行任务”。过去大模型只能帮你写封邮件，现在它能帮你把邮件发出去。从对话到执行，看似只差一步，实际上要跨越三个真实的工程鸿沟。我们拆解了近期爆发的三个多模态 Agent 平台（Browser Use、Anthropic Computer Use 进化版及国内某头部 ERP 集成的 Agent），还原它们接管浏览器、桌面端设计软件和企业系统的真实链路。
屏幕识别：从“读代码”到“看像素”的跨越
让 AI 操作软件，第一道坎是它得“看懂”屏幕。传统的 UI 自动化依赖 Accessibility API 或 DOM 树。但在实际企业场景中，老旧的 ERP 系统、定制化的客户端软件根本没有规范的 DOM。2026 年初，纯视觉方案开始接管。
以开源项目 Browser Use 为例，它最新的 v3 版本采用 Set-of-Mark（SoM）提示策略：Agent 先截取当前屏幕，通过视觉模型识别出可交互元素（按钮、输入框），在截图上画上带编号的红框，再让大模型输出“点击 14 号框”的指令。这种方式对动态页面容错率极高。Shopify 改版了？没关系，只要“上架”两个字还在屏幕上，Agent 就能找到它。
但视觉方案有致命弱点：延迟和隐私。每次截屏上传云端 API，往返延迟动辄 2-3 秒，如果是在 SAP 里录入几千条发票，效率不可接受。这也是为什么端侧模型在 2026 年成了刚需。搭载 M5 芯片的 iPad Pro 已经能在本地跑 30B 参数的视觉模型，处理屏幕图像的延迟压到了 200 毫秒左右（详见《M5芯片让iPad Pro本地跑30B模型，延迟从秒级压到200毫秒》）。私密的企业财务界面无需上传云端，本地闭环完成了识别与操作。
动作执行：MCP 协议接管自动化工作流
看懂了屏幕，接下来是执行。这是目前 RPA 替代讨论中最激烈的地带。如果让 Agent 纯靠模拟鼠标键盘去点，极易触发安全风控，且容错极差——窗口稍微被遮挡一下就会点空。2026 年中，开发者的共识是：能用 API 就别用 UI 点击。
这时候，MCP（Model Context Protocol）协议成了硬通货。过去半年里，LangChain 因集成成本高、生态碎片化被开发者逐渐抛弃，MCP 凭借上下文可移植性成了事实标准（详见《2026半年复盘：LangChain边缘化，MCP成硬通货》）。通过 MCP，Agent 不需要去猜某个设计软件的按钮在哪，而是直接调用软件暴露的标准化接口。
比如在 Figma 中修改设计稿，传统的 RPA 需要录制宏：定位图层、双击、输入新颜色代码。而现在的多模态 Agent 工作流是：Agent 接收指令“把所有主色调换成 Pantone 2026 流行色”，它通过 MCP 协议直接拿到图层树结构，批量执行颜色替换。只有遇到 MCP 没覆盖到的复杂手绘操作时，Agent 才会回退到视觉模式，模拟鼠标拖拽。
这种“API 优先，UI 兜底”的混合执行模式，是目前自动化工作流效率最高的解法。但要注意，如果你的业务系统老旧到连 API 都没有，纯靠端侧算力去跑视觉识别，散热和功耗会是巨大的物理瓶颈（详见《iPhone 19跑70B模型烫手？散热才是真瓶颈》）。
错误修正：数字员工的“反脆弱”能力
传统 RPA 是没有容错能力的，一旦遇到弹窗（比如“您的会话已过期，请重新登录”），脚本就会卡死。多模态 Agent 最大的突破在于具备了错误修正链路。
我们在实测某头部企业的报销审批 Agent 时看到了完整的纠错循环：
- Agent 尝试点击“提交”按钮（动作执行）。
- 屏幕突然弹出“预算超额，需主管额外审批”的对话框（意外状态）。
- Agent 截屏，识别出弹窗文本，理解当前上下文（屏幕识别）。
- Agent 调整计划，先点击“发起额外审批”，填入超额原因，再返回提交（指令解析与重新执行）。
这个过程依赖强大的推理模型。但这里有个避坑指南：不要让 Agent 拥有无限重试的权限。我们在测试中遇到过 Agent 陷入死循环，疯狂点击一个报错的按钮，一晚上烧掉了上千美元的 API 费用。必须设置硬性熔断机制：连续 3 次执行失败，立刻挂起任务，触发企业微信告警，交由人类处理。
此外，为了降低重试成本，Rust 重写的推理引擎正在成为主流，它把内存安全和推理延迟的硬约束拉到了新的基准线，大幅降低了 Agent 在端侧运行时的崩溃率（详见《Rust 重写推理引擎：一场正在发生的语言迁移》）。
合规倒计时：黑盒执行的危险盲区
当 AI 从“陪聊”变成直接干活的数字员工，合规风险呈指数级上升。2026 年 7 月，欧盟 AI 法案全面执法在即，对于自动化工作流来说，最大的盲区在于“决策日志”。
Agent 的视觉点击和动态规划是黑盒。如果它因为识别错误，把一笔本该打给供应商 A 的款打给了 B，谁来负责？ShopFlow 因数据脱敏不足及未标注 AIGC 被罚 500 万欧元的案例已经敲响了警钟（详见《ShopFlow被罚500万：欧盟AI法案下的三宗案与合规真相》）。
对于非技术人员构建自己的数字员工，现在的工具链已经足够友好，但底线是：必须保留每一步动作的截图、模型推理的上下文日志以及最终执行的 API 调用记录。在出海业务中，如果 Agent 涉及处理欧洲用户数据，务必确保所有的屏幕识别和指令解析都在本地或合规的私有化环境完成（详见《告别云端焦虑：2026年本地化RAG部署的存储与隐私合规实战》）。
多模态 Agent 接管工作流，不是一场参数竞赛，而是一场关于系统鲁棒性和工程节制的考验。从指令解析到错误修正，当 AI 真正开始触碰真实世界的业务系统，它才从一个聪明的复读机，变成了真正的生产力。
