在线工具其他工具

MobileGym

面向手机 GUI Agent 研究的可验证、高度并行的仿真平台

标签:
吃瓜启梦AIGPT

MobileGym是中科院自动化所联合北大、香港中文大学团队于2026年推出、开源可在线演示的浏览器端移动端GUI智能体仿真平台,官网地址为https://mobilegym.dev/,核心解决传统真机、安卓模拟器开展手机AI代理训练时的三大核心痛点:真机状态不可读取、无法一键重置、操作存在真实业务风险,是业内首个支持日常主流App大规模在线强化学习(RL)与确定性量化评估的仿真基础设施。

MobileGym插图
传统移动端智能体研究多依赖Android模拟器或实体手机,模拟器资源开销巨大、仅支持少量开源系统应用;真机训练存在资金、账号、操作风险,只能依靠VLM视觉模型截图判分,误判率高达10.2%,无法输出稳定、干净的强化学习奖励信号。MobileGym采用React+TypeScript在浏览器内完整复刻安卓应用交互逻辑,把全部设备、App运行状态封装为结构化JSON数据,构建隔离沙箱环境,兼顾仿真交互真实性、训练可并行性与评估精准度,配套MobileGym-Bench标准化测试集,为大模型GUI Agent研发提供完整训练、评测、迁移闭环工具链。

主要功能特点

  • 28款全品类仿真App覆盖:平台内置12款主流日常应用(微信、支付宝、B站、铁路12306、地图、小红书、X、Spotify等)+16套安卓原生系统程序(设置、电话、短信、日历、相册、文件管理器等),完整还原跳转路由、权限申请、支付、发布内容、票务查询等真实业务流程;新增应用开发成本可控,日常App仅需3-4人天,系统App1天内即可完成接入,支持manifest自动注册,无需修改底层系统与基准层代码。
  • 416套标准化参数化任务模板:基准测试集划分160条训练任务、256条测试任务,按难度分为L1-L4四层梯度,覆盖消息发送、线上支付、购票、内容发布、系统设置等全场景手机操作;所有任务配备程序化状态判定逻辑,不依赖截图视觉识别,全量测试无一次误判、漏判,解决VLM看图打分不稳定的行业难题,为GRPO等强化学习算法提供高密度、无噪声奖励反馈。
  • 结构化JSON全可控环境状态:区别于模拟器仅渲染像素画面,MobileGym将联系人、订单、余额、缓存、网络权限等底层数据全部暴露为可读、可修改JSON结构,支持毫秒级快照、克隆、状态回滚;单台服务器可同时启动上百个独立浏览器实例并行训练,每个实例环境完全隔离,单次训练轨迹不会互相干扰,完美适配批量并行RL训练流程。
  • 安全沙箱零真实业务风险:全部转账、发消息、发布帖子、购票行为均运行在虚拟沙箱内,不存在真实资金损耗、消息误发送、账号变更等不可逆后果,研究者可无限次循环执行高风险交互任务,不用单独准备测试账号、规避真实业务损失,大幅降低实验门槛与成本。
  • Sim-to-Real仿真到真机迁移验证:平台提供标准化真机迁移测试流程,以Qwen3-VL-4B模型为例,在仿真环境完成GRPO微调后,整体任务成功率从9.4%提升至22.2%;59个可真机复现任务子集内,仿真侧性能提升42.8个百分点,落地真实安卓设备仍保留40.7个百分点增益,迁移保留率达95.1%,证明仿真训练习得的操作逻辑具备真实设备通用性,甚至能自主适配真机独有约束(如社区发帖必填标签)。

优势亮点

  • 轻量化资源占用,算力成本大幅降低:对比Docker AndroidWorld安卓模拟器基线,MobileGym单实例内存仅约400MB,模拟器需4.5GB,内存占用仅为其1/11;磁盘占用50MB,模拟器高达20GB,缩小400倍;环境冷启动仅3秒,模拟器需78秒,启动速度提升26倍。单台搭载3张RTX Pro 6000显卡的服务器,即可稳定运行96个并行训练实例,无需大规模集群支撑,中小企业、实验室均可低成本部署。
  • 确定性量化评估,消除视觉评判误差:传统方案依靠大模型识别截图判断任务是否完成,页面加载、弹窗、缓存画面极易造成误判,误差10.2%;MobileGym直接比对底层JSON状态数据,判定结果零误差,评估结果可复现、可溯源,能精准区分模型操作失败、界面渲染异常两类问题,方便研究者定位模型短板。
  • 开箱即用开源生态,配套完整工具链:项目开源托管于GitHub,提供在线演示页面、完整代码、BibTeX引用模板、标准化测试数据集;支持Headless无界面运行,适配本地PC、云端服务器部署;提供快照、克隆、校验三大原生工具,一键批量导出训练轨迹、任务评测报告,降低二次开发难度。
  • 跨应用工作流原生支持:原生兼容安卓Intent跳转、ContentProvider跨应用数据交互,支持多App联动复合任务,例如“微信接收购票链接→跳转铁路App下单→支付宝支付”完整链路仿真,覆盖现实中复杂连续操作场景,弥补现有仿真平台仅支持单App独立任务的短板。

适用人群与场景

  • AI科研从业者(高校、实验室):面向移动端GUI大模型、多模态视觉智能体、强化学习算法研究者,用于模型基线对比、GRPO在线强化训练、Sim-to-Real迁移效果验证;平台标准化416套任务可统一行业评测标准,解决不同团队测试环境不统一、结果无法横向对比的问题。
  • 大模型开发工程师:开发手机端AI助手、APP自动化操作智能体的技术团队,可在仿真环境完成海量迭代训练,无需占用大量实体手机设备,规避测试账号损耗、误操作风险,训练完成后快速迁移至真实安卓终端落地。
  • 自动化测试研发人员:手机App自动化UI测试、流程回归测试团队,依托沙箱环境批量复现复杂操作流程,快速验证新版本交互逻辑,状态快照功能可精准复现偶现Bug,大幅提升测试效率。
  • AI教学与课程实训:高校人工智能、多模态交互课程教学场景,轻量化浏览器运行无需复杂环境配置,学生可在线调试GUI智能体训练代码,直观理解仿真环境、强化学习奖励机制、虚拟到真实迁移的核心原理。

MobileGym填补了移动端日常App大规模智能体仿真训练的市场空白,凭借轻量、精准、高迁移性三大核心优势,成为当前GUI Agent领域主流基准平台,兼顾学术研究与产业落地双重需求,相关开源资源、在线演示均可通过官网mobilegym.dev直接访问使用。

相关导航

暂无评论

暂无评论...