Star
LEARNING PATH / GUI AGENTS

GUI 智能体学习路径

拆解 Mobile-Agent、AppAgent 与 UI-TARS。

阅读原文
This article is written in Chinese. The original equations, source links, and code remain unchanged.
本页目录

用合成截图几何与状态记录,区分感知、规划、动作解析、执行回执与业务终态。

前置与证据边界

先完成Agent开发路径的任务契约、预算与回读;本路径不申请设备、不连接ADB、不控制鼠标键盘。 基础入口见共同基础,能力身份见能力地图。

已完成的是已有主题与标准库教学示例的编纂。本路径把它们组织为学习行动和可提交产物;端到端项目、真实模型、GPU服务或真机实验尚未执行。阅读、手算、示例验证与真实实验需分别记录;教学代码运行结果以对应版本的CI为准。

四层学习行动

层级与能力ID代表知识点及示例函数学习行动与提交验收判据
理解
agents-understand、harness-understand
gui-agent-observation-gate → observation_gate()
ui-tars-action-protocol → parse_action()
app-agent-element-identity → element_identity()
为同一虚构界面分别记录截图身份、元素UID和动作文本,画模型/SDK/宿主/驱动边界。过期或布局变化的观测不可直接复用;元素UID是结构启发式;解析成功不能当作动作已执行。
推导
agents-derive
gui-agent-map-point → map_point()
mobile-agent-perception → perception_index()
ui-tars-coordinate-path → grounding_coordinates()
给裁剪、留白、文本框和显示缩放参数手算三套坐标路径,分别提交中间值。区分展示点、截图像素、归一化框和执行器坐标;V1_0/V1_5分母不可混用;不声称检测到真实控件。
实践
agents-derive、agents-build
mobile-agent-planning-memory → planning_projection()
mobile-agent-reflection → reflection_transition()
app-agent-document-learning → learn_action_document()
app-agent-deployment → deployment_context()
在独立状态表中演示v2规划/反思和AppAgent探索文档/部署选择,并设计恢复后重新观测。进度、页面事实与操作历史分开;探索文档不等于权重更新;不得把两项目的状态和动作拼接使用。
评估
agents-evaluate、benchmark-evaluate
gui-agent-verify-gui-action → verify_gui_action()
ui-tars-loop-state → agent_loop_transition()
benchmark-agents-final-state → state_acceptance()
benchmark-robustness-utility-security-denominators → security_metrics()
设计定位正确但后置条件未知、驱动失败和部分条件满足三个反例;提交正常效用与受检副作用表。坐标命中、下发成功、SDK停止和业务完成分别判定;条件满足2/3仍可整题失败;不以ASR补数代替安全效用。

专题分支与实现边界

方案边界:MobileAgent只采用已读Mobile-Agent-v2子目录;AppAgent采用TencentQQGYLab/AppAgent的元素文档路径;UI-TARS采用LocalComputer→SDK→NutJS的本地链,以V1_0为主。它们的模型、动作集合与坐标规则分别记录,不使用一个通用示例冒充三套真实执行。

方案与实现范围已有知识点及函数学习行动与验收
MobileAgent多智能体协作
X-PLUG/MobileAgent的Mobile-Agent-v2;固定提交11cea575,不混入v3/E/PC等目录。
mobile-agent-perception → perception_index()
mobile-agent-planning-memory → planning_projection()
mobile-agent-reflection → reflection_transition()
按框中心建立感知索引,分别推进规划事实与A/B/C反思状态。
验收:v2接受历史、回退后再观测与无效动作分别记录;几何框是给定输入,不是实机识别结果。
AppAgent探索与技能学习
TencentQQGYLab/AppAgent;固定提交2c190042,探索文档和当前UID检索路径。
app-agent-element-identity → element_identity()
app-agent-document-learning → learn_action_document()
app-agent-deployment → deployment_context()
改变元素属性观察UID,更新动作文档槽位,再按当前界面选择文档与点位。
验收:外部知识积累不是微调;UID跨版本不保证稳定,部署FINISH仍需独立终态。
UITARS感知与动作执行
UI-TARS-desktop提交3ac2cb8d:LocalComputer→SDK→NutJS,以V1_0分支为主。
ui-tars-action-protocol → parse_action()
ui-tars-coordinate-path → grounding_coordinates()
ui-tars-loop-state → agent_loop_transition()
严格解析动作,区分归一化、屏幕点和显示缩放,再推演轮数预算。
验收:模型、SDK、桌面宿主、执行器各自负责的字段明确;V1_5另列,不拼坐标规则。

结业产物与复核

交付三套独立方案对照包,每套包含版本边界、几何输入、状态转移、动作意图、预期回读与终态判据;另外列出真实设备实验还缺的应用版本、截图、权限、驱动和独立验收证据。

复核者应能从能力ID、unit_id、主题版本、示例路径/函数、输入和预期重建推演。至少保留一个失败或未知样例,并说明源码已覆盖与教学省略的部分;任何实测结果都需另附原始记录,不能用预期值填写。

使用学习记录模板、实验记录模板和评测协议模板组织产物。可将本路径接入三个跨模块实践项目;真实剩余实验见研究队列。

下一步:Agent开发路径、Benchmark学习路径。

发现新的理解,或需要修正的地方?一起完善这篇笔记 ↗
试试 Transformer、RAG、Codex 或 KV 缓存