MemGUI-Agent是什么
MemGUI-Agent 是浙大与快手联合推出的长程手机GUI智能体，专为跨App、多步骤、长链条的移动端自动化任务设计。传统ReAct风格Agent在长程任务中会因历史记录线性膨胀导致关键信息被稀释，MemGUI-Agent通过 ConAct 协议，让模型在每一步同时决定如何操作UI和如何整理记忆，实现紧凑且结构化的上下文管理。
MemGUI-Agent的主要功能
- 长程任务执行：支持跨App、跨页面的复杂自动化流程，平均可处理30步以上的连续操作。
- 主动上下文管理：通过ConAct协议，Agent自主决定何时压缩历史、何时写入UI事实、如何描述当前步骤。
- 结构化记忆操作：支持 memory_add、memory_update、memory_delete 等记忆动作，持久保存价格、电话、规格等关键UI事实。
- 端到端模型训练：提供基于Qwen3-VL-8B的LoRA微调模型MemGUI-8B-SFT，8B参数即可胜任长程任务。
- 全链路开源：代码、MemGUI-3K数据集、训练/评测pipeline及模型权重全部开放。
MemGUI-Agent的技术原理
- ConAct（Context-as-Action）核心框架：MemGUI-Agent 将上下文管理从传统的外部规则模块或后处理总结器，提升为与UI点击、滑动、输入同级的第一类动作。在每一步推理中，模型主动决定该压缩什么历史、该记住什么UI事实、该如何描述当前步骤，使上下文更新成为可执行、可训练的策略输出。
- 三个结构化状态字段：Agent 将上下文拆分为三个互补字段协同工作。Folded Action History 负责把已完成的子任务段落压缩为可复用的摘要，避免历史线性膨胀；Folded UI State 专门持久保存跨屏幕的关键事实，确保信息在几十步后仍可精准检索；Recent Step Record 记录最近一步的屏幕观察、动作意图、执行动作和结果，为后续的历史折叠和记忆写入提供可靠的局部原料。
- 五段结构化输出与记忆操作：每一步中，模型输出 thinking、folding、tool_call、ui_observation 和 action_intent 五个结构化段落。其中 tool_call 可以是常规UI操作，也可以是 memory_add、memory_update、memory_delete 等显式记忆操作。
微信关注回复“开源”，加入AI开源项目交流群
如何使用MemGUI-Agent
- 克隆开源代码：从 GitHub 仓库
github.com/kwai/MemGUI-Agent 拉取完整代码与训练评测pipeline。 - 下载数据集：获取 HuggingFace 上的 MemGUI-3K 数据集。
- 加载模型权重：从 HuggingFace 下载 MemGUI-8B-SFT。
- 配置Android环境：连接设备或启动模拟器，部署Agent执行环境。
- 输入任务指令：以自然语言描述长程目标，Agent即自动规划并执行。
MemGUI-Agent的核心优势
- 上下文成本显著降低：在150步长程区域，ConAct比ReAct平均节省约1500个输入token，抑制线性增长。
- 关键信息精准留存：通过UI State持久保存完整事实，避免长程任务中的信息稀释与幻觉。
- 小模型大能力：8B模型经MemGUI-3K训练后，在长程基准上超越多数32B甚至235B基线，实现高效部署。
- 分布外泛化优异：MemGUI-8B-SFT在MobileWorld上取得17.9%成功率，较基线提升8.5个百分点，展现强跨场景迁移能力。
- 全链路可复现：从数据构造、模型训练到评测协议完全开源，降低研究门槛。
MemGUI-Agent的项目地址
- 项目官网：https://memgui-agent.github.io/
- HuggingFace模型库：https://huggingface.co/collections/lgy0404/memgui-agent
- arXiv技术论文：https://arxiv.org/pdf/2606.19926
MemGUI-Agent的同类竞品对比
维度 | MemGUI-8B-SFT | OpenMobile-8B | 上下文机制ConAct主动管理：折叠历史+结构化记忆+最近记录ReAct被动追加：历史线性膨胀
平均任务长度支持28.8步以上长程轨迹以短程任务为主
MobileWorld SR17.9%（GUI-Only）17.7%
记忆操作原生支持memory_add/update/delete无显式记忆动作
数据开源MemGUI-3K全量开源（2956条轨迹）部分开源
MemGUI-Agent的应用场景
- 跨App信息整合：自动从电商、地图、社交App收集信息并汇总到笔记软件。
- 长表单填写：根据多源信息（邮件、通讯录、日历）自动完成复杂注册或报销流程。
- 联系人管理与更新：从社交媒体帖子提取新电话/邮箱，自动更新通讯录并发送短信。
- 商品比价与记录：浏览多个电商平台，记录价格、规格参数并生成对比文档。
- 自动化测试与RPA：在移动端执行长链条UI回归测试或企业级流程自动化。
