下面三个项目将现有知识点组织为可提交的闭环作业。已完成的是45个标准库教学示例及相关正文的编纂;三个端到端项目目前只有具体输入、阶段、预期产物和验收设计,尚未实际运行。真实模型训练、模型调用、GPU服务、真机GUI和产品客户端实验均未执行。
函数是独立教学组件,不保证彼此输入输出可以直接串接;在项目产物中列出明确的字段对应关系,再进行手算或后续独立验证。本轮不新增应用、不运行示例或测试。
提交与验收共同约定
每份项目包包含:任务ID和协议版本、能力ID与unit_id、主题page_version、示例文件和函数、冻结输入、独立预期、实际观察及执行状态。未执行时实际观察为空,状态写designed;不能将函数设计预期写成真实模型或设备成绩。
学习者可先完成理解/推导层,再交实践设计;如以后获准做真实实验,必须另存环境、原始输入输出、预算、失败和独立复核证据。教学函数通过测试不自动意味着系统实验通过。
| 项目 | 主要模块 | 闭环要关闭的问题 |
|---|---|---|
| 可追溯知识回答与来源更正 | 知识库、Harness、业务Agent、Benchmark | 来源变化后,哪些回答与练习需要重新核验 |
| 结构、训练与推理预算对照 | 模型网络、训练、推理、Benchmark | 结构或预算变化后,质量与资源结论如何仍可比较 |
| 代码与GUI任务的执行证据闭环 | Harness、业务Agent、Benchmark | 动作结果未知或部分成功时,何时可以认定完成 |
项目一:可追溯知识回答与来源更正
冻结输入。 准备4份自写短材料,其中一份提供两个明确版本;设计12题,单源、多源、无答案和版本冲突各3题。给每条材料稳定ID、版本及片段ID,人工预先冻结相关性与声明支持标签;候选回答也由作业给定,不请求生成模型。
| 阶段 | 具体知识点与教学函数 | 行动和可提交产物 | 阶段验收 |
|---|---|---|---|
| 冻结资料与任务 | ingestion-identity → source_fingerprint() benchmark-protocol-identity → protocol_fingerprint() benchmark-protocol-splits → split_overlap() | 记录正文和解析身份,冻结问题集、支持标签及开发/报告划分。 产物:来源版本卡、12题清单与协议指纹。 | 同ID的来源版本不混用;ID无交集不等于语义无污染,报告集不参与调参。 |
| 选择检索证据 | hybrid-search-rrf → reciprocal_rank_fusion() rag-context → select_context() | 融合两份给定排名,再按片段包装成本和输出预留选择实际上下文。 产物:召回排名、融合分值与实际入模片段三列账本。 | RRF不相加异构原分;上下文预算不超额,未选入片段不能冒充模型已见证据。 |
| 判定引用与完成 | rag-citation → audit_citations() benchmark-rag-claim-denominators → claim_coverage() task-loop-terminal-contract → terminal_contract() | 审计给定候选回答的逐条声明与引用,并对完整、无答案、冲突三种状态作终态判断。 产物:声明到版本片段的支持矩阵、独立分母和三值终态卡。 | 缺链接、链接错误、无支持和未观测分开;忠实度高不自动表示回答完整。 |
| 传播来源更正 | ingestion-delta → classify_versions() ingestion-retraction → reconcile_support() graph-wiki-wiki-impact → wiki_impact() | 把一个来源改为新版本,再模拟一片段撤回及一来源暂时不可读,计算影响对象。 产物:新增/更正/不可读事件卡、共享支持修复计划与受影响主题/能力/练习清单。 | 不可读不当删除;仍有支持的共享声明不一概清除;related边不传播更正。 |
| 回查并关闭问题 | memory-invalidation-closure → invalidation_closure() benchmark-protocol-ledger → score_run() | 失效旧版本派生记忆,重新审计受影响题;失败则回到证据选择,缺证据则保留无答案。 产物:前后两版审计表、失败归因、修订或保持不变的理由。 | 对比仍采用原问题ID与冻结判据;关闭项具有新版本证据,未复核项不改成成功。 |
闭环验收。 复核者能从任一回答声明追到指定版本片段,也能从撤回片段追到受影响练习。故障注入仅限给定数据:一个无支持引用、一个过期版本、一个不可读来源;三者必须产生不同处置。
已完成范围与未执行部分。 已具备全部教学组件和作业设计;未搭建真实检索服务、调用生成模型或执行真实来源发布更正。外部模型的支持判断准确率、真实检索质量和更新事务一致性仍待实验。
对应路径:基础入门路径、Agent开发路径、Benchmark学习路径。
项目二:结构、训练与推理预算对照
冻结输入。 给两条请求长度3和5、两层、2个KV头、头宽8、每元素2字节、块大小4;另给一个普通浮点LoRA小矩阵和两条长短不同的监督序列。所有模型概率、质量标签和请求时间均为人工给定的教学数据。
| 阶段 | 具体知识点与教学函数 | 行动和可提交产物 | 阶段验收 |
|---|---|---|---|
| 明确计算与质量契约 | attention-heads-budget → kv_budget() pretraining-loss-denominator → token_loss() sft-lora-merge → lora_merge_equivalence() | 区分Q头与KV头、有效监督token和合并缩放;记录未来服务必须满足的输出质量条件。 产物:模型身份卡、监督位置/损失表和合并前后预期。 | 损失分母只含有效目标;LoRA等价限于相同浮点层、缩放和无dropout条件,不能推断训练收益。 |
| 核算三本缓存账 | kv-cache-bytes → kv_layout() cache-scheduling-page-map → page_address() | 按有效长度、最长padding和独立分页分别计算占用,再列出每个有效位置的块地址。 产物:有效1024字节、padding1280字节、分页1536字节的手算表。 | 数值只含所给层配置的KV;权重、临时区、共享、量化附加信息及分布式复制另列为遗漏。 |
| 设计负载与调度 | inference-frameworks-traffic → arrival_schedule() prefill-decode-chunk-budget → schedule_tokens() cache-scheduling-continuous → continuous_step() | 为三个请求规划五轮进出,固定总token和块预算;比较相同到达率的两种突发度。 产物:到达时刻输入、五轮分配/释放账本和待测负载矩阵。 | 各轮预算守恒;不把跳过不足资源的教学策略称为实现抢占,合成流量不冒充服务运行。 |
| 统计质量约束结果 | prefill-decode-timing → request_metrics() inference-frameworks-goodput → qualified_metrics() benchmark-systems-joint-goodput → slo_overlap() | 对人工时间与独立质量标签计算TTFT、TPOT、联合达标和观察窗口吞吐,保留失败请求。 产物:逐请求原始字段、联合条件和指标分母表。 | 到达0、token时刻0.2/0.3/0.5秒给出TTFT0.2秒和TPOT0.15秒;这是手算,非硬件成绩。 |
| 解释差异并回到设计 | inference-frameworks-tail → latency_summary() benchmark-systems-submission-validity → submission_layers() benchmark-metrics-paired → paired_bootstrap() | 区分分位数口径、输出质量变化与资源上限;不达标则在开发协议中修订假设,再冻结下一轮。 产物:运行点取舍卡、未完成测量清单和独立报告集规则。 | 不能把只通过时延条件称作完整合格吞吐或正式认证;没有真实同题运行不填写显著性或加速比。 |
闭环验收。 另一个读者能用给定尺寸重建三项字节数,能从逐token时间重建延迟,能指出一次结构变化究竟改变参数、缓存还是条件标签。必须保留预算不足、单token输出、超时和质量失败四类边界。
已完成范围与未执行部分。 已完成的是数学/调度/统计教学组件与性能实验设计;未进行权重训练、GPU内核验证、服务压测、硬件计时或MLPerf提交。三个教学输入域通过明示字段表衔接,不宣称已有端到端服务实现。
对应路径:基础入门路径、系统工程路径、Benchmark学习路径。
项目三:代码与GUI任务的执行证据闭环
冻结输入。 冻结4个虚构任务:C1/C2为内存代码文本修复,G1/G2为示意界面记录保存。给定代码基线、目标框、布局版本、动作/观察ID、三值后置条件和预定重试预算;代码和GUI分支采用各自协议,不共用未经定义的动作格式。
闭环验收。 用一次重复触发、一次结果未知、一次评估器假阳性和一次正确定位但未保存的界面状态检验协议。审阅者可区分候选动作、给定回执、独立验收及恢复义务。
已完成范围与未执行部分。 已具备代码字符串、坐标和状态教学组件以及两分支闭环设计;未运行Codex/Claude Code等产品、真实Agent团队、设备、生成代码或第三方工具。GUI三方案与代码三方案的专属路径用于独立对照,不组合成未经实现的系统。
对应路径:Agent开发路径、GUI智能体实践路径、AI编程智能体实践路径、Benchmark学习路径。
复盘如何回到能力目标
将每个未通过项落回能力地图中的具体能力ID和知识点:概念混淆回理解层,公式或分母错误回推导层,输入或状态契约缺失回实践层,证据不足与比较偏差回评估层。只补受影响项,不把一次项目失败判成整个模块都未掌握。
用学习记录模板、评测协议模板和实验记录模板保存产物;未完成的真实实验进入研究队列,不通过修改公共practice_status替代执行证据。