GenEvolve是什么
GenEvolve 是香港科技大学（广州）、美团与新加坡国立大学联合推出的自演进图像生成 Agent。GenEvolve 将开放式图像生成形式化为工具编排的视觉轨迹，Agent 通过搜索文本证据、检索视觉参考、调用生成知识，最终合成 prompt-reference program，交由任意参考条件生成器渲染。
GenEvolve的主要功能
- 文本搜索（search）：收集外部事实证据，补充真实建筑、公众人物、商品结构等世界知识。
- 图像搜索（image_search）：检索视觉参考图，获取地标、人物、材质等视觉参考。
- 生成知识查询（query_knowledge）：激活内部生成技能，处理文字渲染、空间布局、材质一致性等复杂需求。
- Prompt-Reference Program 合成：将工具结果整合为可执行的生成程序，支持任意参考条件生成器渲染。
GenEvolve的技术原理
- 训练分为两阶段：
- SFT 冷启动：在高质量 Teacher 轨迹上对 Qwen3-VL-8B-Instruct 做监督微调，学习基本工具调用和程序写法。
- 自我进化（Rollout）：对同一请求采样多条轨迹，渲染成图像后由视觉判分器和文本判分器共同打分，使用 GRPO 优化轨迹级奖励。
- 视觉经验自蒸馏（Visual Experience Distillation）： 比较同一请求下的最优与最差轨迹，将差异总结为结构化 Decision Guide，通过 token 级反向 KL 将教师分支的偏好蒸馏给学生模型，使模型学会”在类似请求时如何搜索、选参考、组织约束”的决策习惯。
微信关注回复“开源”，加入AI开源项目交流群
如何使用GenEvolve
- 克隆仓库：从 GitHub 下载 GenEvolve 代码到本地环境。
- 安装依赖：运行
pip install -r requirements.txt 安装所需 Python 包。 - 下载模型：从 HuggingFace 下载
MeiGen-AI/GenEvolve 的 Qwen3-VL-8B Agent 策略权重。 - 配置搜索工具：设置搜索引擎 API 密钥，启用
search 和 image_search 工具调用。 - 加载生成知识：将八项技能 Markdown 文件放入指定目录，供
query_knowledge 工具读取。 - 选择生成器：在 Qwen-Image-Edit或 Nano Banana Pro中选定后端并配置密钥。
- 初始化 Agent：实例化
GenEvolveAgent，传入模型路径、生成器名称和工具列表。 - 输入请求：调用
agent.run() 方法，传入自然语言图像生成描述。 - 执行轨迹：Agent 自动搜索文本证据、检索视觉参考、调用生成知识并合成 prompt-reference program。
- 渲染图像：将 Agent 输出的程序传入配置好的生成器后端，得到最终生成图像。
GenEvolve的核心优势
- 生成器可迁移性：同一套 Agent 策略可搭配开源 Qwen-Image-Edit 或强生成器 Nano Banana Pro，策略不绑定特定生成器。
- 自我进化闭环：GRPO + 视觉经验自蒸馏形成”更强策略 → 更好轨迹 → 更丰富经验 → 未来改进”的闭环。
- 细粒度信用分配：相比纯 RL 的标量奖励，SDL 提供 token 级指导，明确好轨迹好在工具计划、参考选择还是约束写法。
- 跨基准泛化：在 WISE 知识密集型基准上不做 in-domain 微调，8B 开源策略超过 GPT-4o。
GenEvolve的项目地址
- 项目官网：https://ephemeral182.github.io/GenEvolve/
- GitHub仓库：https://github.com/MeiGen-AI/GenEvolve
- HuggingFace模型库：https://huggingface.co/MeiGen-AI/GenEvolve
GenEvolve的同类竞品对比
对比维度 | GenEvolve | Gen-Searcher | 核心机制工具编排视觉轨迹 → prompt-reference program → 跨生成器渲染搜索增强 → 直接生成
Agent 架构三工具闭环：search + image_search + query_knowledgeprimarily 搜索工具调用
训练方法SFT 冷启动 + GRPO 轨迹优化 + 视觉经验自蒸馏（SDL）未公开明确的多阶段训练机制
自我进化✅ 支持：通过 GRPO 和 SDL 形成”更强策略→更好轨迹→更丰富经验”的闭环❌ 不支持：无持续优化机制
生成器可迁移性✅ 核心设计：同一 Agent 输出可适配 Qwen-Image-Edit 或 Nano Banana Pro❌ 绑定特定生成器后端
开源程度全栈开源：模型权重、运行时、工具、数据集、评测基准开源程度有限
KScore0.36630.3493
GenEvolve的应用场景
- 知识密集型图像生成：需要外部世界知识的场景，如真实地标建筑（埃菲尔铁塔、故宫）、公众人物肖像、特定商品结构、历史事件还原。Agent 通过搜索工具补充事实，避免生成器”幻觉”错误细节。
- 质量约束型图像生成：对文字渲染、精确计数、空间布局、属性绑定、解剖结构准确性、材质真实感、美学风格有硬性要求的商业设计、广告海报、教育插图。
- 参考一致性图像生成：要求输出与参考图保持身份一致（角色设计）、材质特殊（金属/丝绸质感）或风格统一（特定画家风格）的系列化内容生产、IP 衍生创作。
- 模糊需求澄清与程序化：将用户模糊描述转化为可执行的生成程序，明确搜索什么、参考什么、约束什么，降低 prompt engineering 门槛。
