用合成截图几何与状态记录,区分感知、规划、动作解析、执行回执与业务终态。
前置与证据边界
先完成Agent开发路径的任务契约、预算与回读;本路径不申请设备、不连接ADB、不控制鼠标键盘。 基础入口见共同基础,能力身份见能力地图。
已完成的是已有主题与标准库教学示例的编纂。本路径把它们组织为学习行动和可提交产物;端到端项目、真实模型、GPU服务或真机实验尚未执行。阅读、手算、示例验证与真实实验需分别记录;教学代码运行结果以对应版本的CI为准。
四层学习行动
专题分支与实现边界
方案边界:MobileAgent只采用已读Mobile-Agent-v2子目录;AppAgent采用TencentQQGYLab/AppAgent的元素文档路径;UI-TARS采用LocalComputer→SDK→NutJS的本地链,以V1_0为主。它们的模型、动作集合与坐标规则分别记录,不使用一个通用示例冒充三套真实执行。
| 方案与实现范围 | 已有知识点及函数 | 学习行动与验收 |
|---|---|---|
| MobileAgent多智能体协作 X-PLUG/MobileAgent的Mobile-Agent-v2;固定提交11cea575,不混入v3/E/PC等目录。 | mobile-agent-perception → perception_index() mobile-agent-planning-memory → planning_projection() mobile-agent-reflection → reflection_transition() | 按框中心建立感知索引,分别推进规划事实与A/B/C反思状态。 验收:v2接受历史、回退后再观测与无效动作分别记录;几何框是给定输入,不是实机识别结果。 |
| AppAgent探索与技能学习 TencentQQGYLab/AppAgent;固定提交2c190042,探索文档和当前UID检索路径。 | app-agent-element-identity → element_identity() app-agent-document-learning → learn_action_document() app-agent-deployment → deployment_context() | 改变元素属性观察UID,更新动作文档槽位,再按当前界面选择文档与点位。 验收:外部知识积累不是微调;UID跨版本不保证稳定,部署FINISH仍需独立终态。 |
| UITARS感知与动作执行 UI-TARS-desktop提交3ac2cb8d:LocalComputer→SDK→NutJS,以V1_0分支为主。 | ui-tars-action-protocol → parse_action() ui-tars-coordinate-path → grounding_coordinates() ui-tars-loop-state → agent_loop_transition() | 严格解析动作,区分归一化、屏幕点和显示缩放,再推演轮数预算。 验收:模型、SDK、桌面宿主、执行器各自负责的字段明确;V1_5另列,不拼坐标规则。 |
结业产物与复核
交付三套独立方案对照包,每套包含版本边界、几何输入、状态转移、动作意图、预期回读与终态判据;另外列出真实设备实验还缺的应用版本、截图、权限、驱动和独立验收证据。
复核者应能从能力ID、unit_id、主题版本、示例路径/函数、输入和预期重建推演。至少保留一个失败或未知样例,并说明源码已覆盖与教学省略的部分;任何实测结果都需另附原始记录,不能用预期值填写。
使用学习记录模板、实验记录模板和评测协议模板组织产物。可将本路径接入三个跨模块实践项目;真实剩余实验见研究队列。
下一步:Agent开发路径、Benchmark学习路径。