一句话生图要过时了？开源图像生成Agent进化出「工具编排」

发布时间：2026-07-17 06:11:11 来源：安智兰德资讯网 作者：焦点

图像生成技术正经历范式转移：从简单的句话t进「一句话生成一张图」，迈向更接近人类真实创作流程的生图生成开放任务处理。

在实际应用场景中，过时工具用户指令往往复杂多变：不仅要求画面精准对齐特定地标、开源人物、图像商品或事件，化出还强调参考图身份的编排一致性、特殊材质的句话t进呈现，甚至要求将模糊的生图生成自然语言描述转化为精确的视觉表达。面对这些多维度的过时工具需求，仅靠生成模型单次前向推理已难以保证结果的开源稳定性与准确性。

近期，图像由香港科技大学（广州）、化出美团、编排香港科技大学及新加坡国立大学等机构联合组成的句话t进研究团队提出了 GenEvolve——一个面向开放图像生成的自我进化智能体框架。该框架将单次生成任务重构为「工具编排轨迹」：智能体首先解析用户请求，随后动态调用搜索、图像检索及生成知识等工具，最终将外部证据、视觉参考与硬性约束整合为 prompt-reference program，交由不同的底层生成器进行渲染。

论文标题：GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation
论文链接：https://arxiv.org/abs/2605.21605
项目页面：https://ephemeral182.github.io/GenEvolve/
代码链接：https://github.com/MeiGen-AI/GenEvolve
模型权重：https://huggingface.co/MeiGen-AI/GenEvolve
数据与评测：https://huggingface.co/datasets/MeiGen-AI/GenEvolve-Data-Bench

GenEvolve 采用统一的智能体策略，兼容开源模型 Qwen-Image-Edit与高性能生成器 Nano Banana Pro。

从 Prompt 到工具轨迹

GenEvolve 主要解决两类开放生成需求：

1. Knowledge-Anchored（知识锚定）：生成结果高度依赖外部世界知识，如真实建筑外观、公众人物特征、商品结构细节或特定事件线索。
2. Quality-Anchored（质量锚定）：结果需满足可校验的视觉质量约束，包括文字渲染准确性、计数正确性、空间布局合理性、属性绑定、解剖结构正确性、材质一致性以及整体美学表现。

为此，GenEvolve 为智能体配备了三类核心工具：
* search (q)：文本搜索工具，用于补充事实性证据。
* image_search (q)：图像搜索工具，用于获取高质量的视觉参考。
* query_knowledge (skill)：生成知识查询工具，激活模型内部关于文字渲染、空间布局、材质一致性等复杂需求的处理技能。

因此，一次高质量的图像生成不再仅仅是「编写更长的 Prompt」，而是一个多轮决策过程：确定搜索关键词、筛选参考图像、调用特定生成技能，并在最终程序中嵌入严格的约束条件。

数据构建与评测体系

为了训练具备此类能力的智能体，研究团队构建了 GenEvolve-Data和 GenEvolve-Bench。不同于传统的 Prompt-Image 配对数据收集，团队从约 2 万条结构化 Recipe 出发，覆盖了实体、地标、产品、事件、文字、布局、计数、属性、解剖、材质、美学及创意转化等丰富场景。

数据处理流程如下：
1. Teacher Agent 处理：每个请求首先由 Teacher Agent 执行完整的工具流程（查事实、找参考、调用生成知识、编写最终 prompt-reference program）。
2. 多重过滤与审计：数据经过程序检查、VLM（视觉语言模型）审计、GT（Ground Truth）图像渲染及视觉过滤。
3. 数据切分：最终切分为 SFT 轨迹数据、自我进化样本以及对应的 Benchmark 数据集。

GenEvolve-Data 数据闭环：从结构化 Recipe 生成工具轨迹，经 VLM 审计与 GT 图像过滤后，切分为训练视图与评测视图。

自我进化：筛选更优轨迹

训练过程分为两个关键阶段：

1. SFT 冷启动：使用高质量的 Teacher 轨迹对 Qwen3-VL-8B-Instruct进行监督微调（SFT），使模型掌握基本的工具调用逻辑与程序编写规范。
2. 自我进化 Rollout：对同一请求采样多条 Rollout 轨迹，渲染成图像后由视觉判分器和文本判分器联合打分，并利用 GRPO（Group Relative Policy Optimization）优化轨迹级奖励。

视觉经验自蒸馏：教会模型「好在哪里」

仅依靠轨迹级奖励存在局限：它能指示「哪条轨迹更优」，却难以解释「为何更优」。为此，GenEvolve 引入了视觉经验自蒸馏机制：

• 差异分析：系统对比同一请求下的最优与最差轨迹，将差异总结为结构化的 Decision Guide（决策指南），例如：应搜索哪些内容、应选择哪类参考图、应避免哪些失败写法。
• Privileged Teacher 机制：这些经验仅提供给训练阶段的 Privileged Teacher。Student 模型在同一批样本上仅接收普通输入，不直接读取经验库；而 Teacher 则在 Decision Guide 的辅助下生成更优的 Token 分布。
• Token 级反向 KL 蒸馏：通过 Token 级反向 KL 散度，将 Teacher 在关键决策 Token 上的偏好蒸馏给 Student。

这一机制使模型学到的不再是死记硬背的离线记忆，而是「面对类似请求时如何搜索、选择参考、组织约束」的决策习惯。这也是 GenEvolve 区别于单纯 RL 打分优化的核心：GRPO 提供强化方向，而视觉经验自蒸馏提供了更细粒度的 Credit Assignment（信用分配），明确了好轨迹究竟好在工具计划、参考选择还是约束写法上。部署时，Student 无需依赖外部经验库，所有决策能力已内化于模型参数中。

GenEvolve 方法总览：智能体采样多条工具轨迹，对比最优与最差结果，将视觉经验蒸馏回部署模型。

实验结果

在自建基准 GenEvolve-Bench上，研究团队对比了主流直接生成模型与 Agentic 工作流：

• 开源生成器场景：当底层生成器固定为开源 Qwen-Image-Edit-2511时，GenEvolve 的整体 KScore 达到 0.3663，超越 Gen-Searcher 的 0.3493；在依赖事实与视觉细节的 Knowledge-Anchored 任务上，提升尤为显著。
• 强生成器场景：搭配更强的 Nano Banana Pro渲染器时，GenEvolve 的 KScore 进一步提升至 0.5739，高于 Nano Banana Pro 裸生成的 0.5298。

这表明 GenEvolve 学到的并非针对特定生成器的 Prompt 技巧，而是一套可迁移至不同渲染器的通用工具编排策略。

GenEvolve-Bench 主结果：GenEvolve 在开源生成器设置和强生成器设置下均取得稳定提升。

消融实验显示：
* 未调优的 Qwen3-VL 工作流虽能利用工具入口，但结果不稳定；
* SFT 显著提升了工具调用与最终程序质量；
* GRPO 提供了关键的轨迹级优化信号；
* 加入视觉经验自蒸馏后，模型在 Visual correctness、Knowledge-Anchored 和 Quality-Anchored 等关键维度上继续提升。

此外，研究团队还在公开的 WISE知识密集型图像生成基准上进行了外推评估。在未进行 In-domain 微调的情况下，GenEvolve 使用 8B 开源策略与开源 Qwen-Image-Edit 渲染器，整体 WiScore 达到 0.82，超越了 GPT-4o 的 0.80。

WISE 结果：GenEvolve 在开源生成器设置和强生成器设置下，均超越了之前的开源和闭源模型。

定性对比：橙色示例更依赖外部知识，蓝色示例更依赖内部生成技能。

小结

GenEvolve 的核心意义在于，它将开放图像生成从单一的 Prompt 优化，推进到了可学习的工具编排过程。对于需要外部知识、参考图一致性及多重硬约束的任务，智能体不再只是机械地「调用工具」，而是在训练中学会如何将工具结果转化为高效的生成程序。

目前，GenEvolve 已全面开源模型、代码、数据与评测集。对于图像生成智能体、工具使用、视觉反馈强化学习及开放生成评测等研究方向，该框架提供了一个极具价值的可复现起点。

作者与单位

论文作者包括 Sixiang Chen、Zhaohu Xing、Tian Ye、Xinyu Geng、Yunlong Lin、Jianyu Lai、Xuanhua He、Fuxiang Zhai、Jialin Gao、Lei Zhu，来自港科广、美团、港科大和新加坡国立大学。

相关文章