三天时间，确实能把一个图片编辑 Agent 跑起来。
但别把时间花在反复换框架、重装环境、猜报错上。下面这条路径来自 2026 年 7 月的一次实测：MetaGPT v0.8 做 Agent 框架，Qwen-VL-Max 负责视觉理解，再接上 Pillow、Rembg、Real-ESRGAN 这三个图像工具。能完成的事包括换背景、调色、裁剪、超分辨率。
先说结论：它已经能做出一个可用 Demo；要做成稳定服务，还得继续处理成本、失败重试和批量任务。
这类 Agent 到底在变什么
集智俱乐部在《Agent AI：多模态交互的新地平线》里提到，多模态人工智能系统可以被嵌入物理或虚拟环境，感知用户动作、环境物体、声音表达和场景情绪，再据此调整回应。这个说法听起来偏研究，但落到图片编辑场景，其实很直白：模型要先看懂图，再决定调用哪个工具。
比如用户说：把左边那个人去掉。传统图像工具只会等你手动框选、点按钮；Agent 的流程是先理解“左边那个人”在图里的位置，再规划操作，再调用工具执行。
这也是多模态 Agent 和普通聊天机器人的差别。东方财富证券在《2025 Agent元年，AI从L2向L3发展》中把 Agent 的构成拆成几个必要环节，核心也指向同一件事：模型不能只回答，还要能感知、规划、调用工具、执行任务。
图片编辑助手适合拿来入门，因为它的边界比较清楚：输入是一张图和一句话，输出是一张处理后的图。失败也容易看出来。
先看三组实测指令
这次测试用了三类常见需求。
指令一：“把这张产品图的背景换成纯白色，保持主体不变。”
Agent 的处理链路是：调用 Rembg 去背景，检查边缘残留，再用 Pillow 做边缘羽化，最后叠加白底。单次用时 4.2 秒。产品主体保留得比较完整，但毛发、透明材质这类细节仍会有轻微锯齿。
指令二：“把照片调成电影感的冷色调，提高对比度但别让人脸过曝。”
这条用了 3.8 秒。Agent 先用 Qwen-VL-Max 定位人脸区域，再调用 Pillow 的 Color 模块做全局调色，并对人脸区域做曝光保护。这里比较有意思的是，“别让人脸过曝”不是一个固定按钮，而是视觉模型先判断图里哪里是人脸，再把这个信息交给工具链。
指令三：“裁掉右边三分之一，然后把分辨率提到 4K。”
Agent 先计算裁剪区域，用 Pillow 裁剪，再调用 Real-ESRGAN 做 4x 超分。用时 6.1 秒。画面纹理比直接拉伸好，但如果一次处理几十张图，延迟会明显累积。
这三组结果说明一件事：真正起作用的是“视觉判断 + 工具执行”，不是单靠一个大模型把图片变出来。
第一天：先把环境跑通
环境不要太花。实测配置如下：
conda create -n agent-img python=3.11
conda activate agent-img
pip install metagpt==0.8.0
pip install pillow==10.4.0 rembg==2.0.60 realesrgan==0.3.0
pip install dashscope # Qwen-VL-Max 的 API 调用
这里有一个容易误判的报错：Real-ESRGAN 需要单独下载 4x-plus 模型权重，文件约 64MB，放到 ~/.realesrgan/weights/。如果路径不对，第一次运行可能会抛 CUDA 相关错误，但根因往往只是权重没找到。
MetaGPT 的配置文件在 ~/.metagpt/config2.yaml，需要写入模型和角色配置：
llm:
api_type: dashscope
api_key: your_key
model: qwen-vl-max
roles:
- image_editor
image_editor 是 MetaGPT v0.8 里的预定义角色，用来串起图像理解、工具选择、参数填充、执行和结果检查。对于入门项目，它能省掉不少状态管理代码。
第二天：把工具注册清楚
Agent 实际能做什么，取决于你给它注册了哪些工具。
在这个项目里，先注册三个工具：去背景、调色、超分辨率。
from metagpt.tools import Tool, ToolParameter
from metagpt.roles.image_editor import ImageEditor
from PIL import Image, ImageEnhance
import rembg
import subprocess
@Tool.register(
name="remove_background",
description="移除图片背景，返回透明背景的PNG",
parameters=[
ToolParameter(name="input_path", type="str", description="输入图片路径"),
ToolParameter(name="output_path", type="str", description="输出图片路径"),
]
)
def remove_background(input_path: str, output_path: str) -> str:
with open(input_path, "rb") as f:
img_data = f.read()
result = rembg.remove(img_data)
with open(output_path, "wb") as f:
f.write(result)
return f"背景已移除，输出至 {output_path}"
@Tool.register(
name="adjust_color",
description="调整图片色温、对比度和饱和度",
parameters=[
ToolParameter(name="input_path", type="str"),
ToolParameter(name="output_path", type="str"),
ToolParameter(name="temperature", type="str", description="冷/暖/中性"),
ToolParameter(name="contrast", type="float", description="1.0为原始值"),
ToolParameter(name="saturation", type="float", description="1.0为原始值"),
]
)
def adjust_color(input_path, output_path, temperature="中性", contrast=1.0, saturation=1.0):
img = Image.open(input_path)
temp_map = {"冷": (0, 0, 30), "暖": (30, 0, 0), "中性": (0, 0, 0)}
r_offset, g_offset, b_offset = temp_map.get(temperature, (0, 0, 0))
enhancer = ImageEnhance.Contrast(img)
img = enhancer.enhance(contrast)
enhancer = ImageEnhance.Color(img)
img = enhancer.enhance(saturation)
img.save(output_path)
return f"调色完成：色温{temperature}，对比度{contrast}，饱和度{saturation}"
@Tool.register(
name="super_resolution",
description="使用Real-ESRGAN将图片超分辨率到4倍",
parameters=[
ToolParameter(name="input_path", type="str"),
ToolParameter(name="output_path", type="str"),
ToolParameter(name="scale", type="int", description="放大倍数，默认4"),
]
)
def super_resolution(input_path, output_path, scale=4):
cmd = f"realesrgan-ncnn-vulkan -i {input_path} -o {output_path} -s {scale}"
subprocess.run(cmd, shell=True, check=True)
return f"超分完成，{scale}x分辨率输出至 {output_path}"
注册后，把工具注入 ImageEditor：
from metagpt.roles.image_editor import ImageEditor
editor = ImageEditor(tools=["remove_background", "adjust_color", "super_resolution"])
工具名要和 @Tool.register 里的 name 完全一致。这里错一个字符，Agent 在规划阶段就会找不到工具，日志里看起来像模型没理解指令，其实只是工具没对上。
第三天：让它先看，再动手
工具调用只是执行。图片编辑 Agent 的关键在判断：什么时候该去背景，什么时候该调色，参数应该给多少。
以“把这张照片调成冷色调，人脸亮度保持不变”为例，内部流程大致是这样：
{
"faces": [
{"bbox": [120, 80, 380, 460]}
],
"background": "暗色调室内"
}
Qwen-VL-Max 先输出类似这样的结构化描述。Agent 根据描述生成工具调用顺序：先做全局调色，再避开或保护人脸区域。执行完成后，再让视觉模型检查一遍结果，看人脸亮度是否偏离原图太多。
触发这条链路的代码很短：
from metagpt.schema import Message
result = await editor.run(
Message(
content="把这张照片调成冷色调，人脸亮度保持不变",
image_path="input.jpg"
)
)
开发者看到的是一行调用；真正调试时，建议打开日志。工具选择、参数填充、验证结果都要看日志，不然很难判断问题出在视觉理解、工具参数，还是图片处理函数本身。
成本比想象中更容易失控
Demo 跑通后，最先暴露的不是效果，而是调用次数。
Qwen-VL-Max 按 token 计费。实测中，一张 1080P 图片的视觉 token 消耗约 800-1200 tokens，加上文本交互，单次编辑请求的视觉理解成本约 0.03-0.05 元人民币。问题在于 Agent 通常不只看一次图。
如果开启结果验证，它会在执行后再调用视觉模型检查。遇到不满意的结果，还可能重试。这样一来，一次用户请求实际会触发 2-3 次视觉模型调用。
批量处理时，可以考虑关掉 LLM 验证，改成轻量检查。MetaGPT v0.8 支持在角色配置里设置：
verify_with_llm: false
这样做会牺牲一部分主观判断能力，但能把成本和延迟压下来。对于“统一裁剪、统一换白底、统一超分”这类任务，比每张图都让视觉模型复查更现实。
还能往哪扩
这个图片编辑助手目前处理的是静态图片。继续扩展，主要有两个方向。
一个是视频帧。难点不只是把每一帧都编辑一遍，而是保持连续帧一致。前一帧调了多少色、主体边缘怎么处理，后一帧要跟上，否则画面会闪。
另一个是端侧部署。Real-ESRGAN 有 ncnn Vulkan 版本，Rembg 的 onnx 模型可以跑在 CoreML 上，Qwen-VL 也有 INT4 量化版本。比较现实的方案是：视觉理解放云端，图片处理放端侧。这样既能利用大模型判断，又不必把所有像素级处理都放到云端跑。
三天能做出一个能用的图片编辑 Agent。它还谈不上稳定产品，但已经足够验证工作流：自然语言输入、视觉理解、工具规划、图像处理、结果检查。
真正要花时间的，是后面这些工程问题：工具失败怎么回滚，批量任务怎么排队，视觉模型调用怎么限额，用户说得含糊时要不要追问。框架已经把第一步门槛降下来了，剩下的部分，还是要靠具体场景慢慢磨。
