Star
CAPSTONE PROJECTS

跨模块实践

将模型、知识、工具与评价连接为完整项目。

阅读原文
This article is written in Chinese. The original equations, source links, and code remain unchanged.
本页目录

下面三个项目将现有知识点组织为可提交的闭环作业。已完成的是45个标准库教学示例及相关正文的编纂;三个端到端项目目前只有具体输入、阶段、预期产物和验收设计,尚未实际运行。真实模型训练、模型调用、GPU服务、真机GUI和产品客户端实验均未执行。

函数是独立教学组件,不保证彼此输入输出可以直接串接;在项目产物中列出明确的字段对应关系,再进行手算或后续独立验证。本轮不新增应用、不运行示例或测试。

提交与验收共同约定

每份项目包包含:任务ID和协议版本、能力ID与unit_id、主题page_version、示例文件和函数、冻结输入、独立预期、实际观察及执行状态。未执行时实际观察为空,状态写designed;不能将函数设计预期写成真实模型或设备成绩。

学习者可先完成理解/推导层,再交实践设计;如以后获准做真实实验,必须另存环境、原始输入输出、预算、失败和独立复核证据。教学函数通过测试不自动意味着系统实验通过。

项目主要模块闭环要关闭的问题
可追溯知识回答与来源更正知识库、Harness、业务Agent、Benchmark来源变化后,哪些回答与练习需要重新核验
结构、训练与推理预算对照模型网络、训练、推理、Benchmark结构或预算变化后,质量与资源结论如何仍可比较
代码与GUI任务的执行证据闭环Harness、业务Agent、Benchmark动作结果未知或部分成功时,何时可以认定完成

项目一:可追溯知识回答与来源更正

冻结输入。 准备4份自写短材料,其中一份提供两个明确版本;设计12题,单源、多源、无答案和版本冲突各3题。给每条材料稳定ID、版本及片段ID,人工预先冻结相关性与声明支持标签;候选回答也由作业给定,不请求生成模型。

阶段具体知识点与教学函数行动和可提交产物阶段验收
冻结资料与任务ingestion-identity → source_fingerprint()
benchmark-protocol-identity → protocol_fingerprint()
benchmark-protocol-splits → split_overlap()
记录正文和解析身份,冻结问题集、支持标签及开发/报告划分。
产物:来源版本卡、12题清单与协议指纹。
同ID的来源版本不混用;ID无交集不等于语义无污染,报告集不参与调参。
选择检索证据hybrid-search-rrf → reciprocal_rank_fusion()
rag-context → select_context()
融合两份给定排名,再按片段包装成本和输出预留选择实际上下文。
产物:召回排名、融合分值与实际入模片段三列账本。
RRF不相加异构原分;上下文预算不超额,未选入片段不能冒充模型已见证据。
判定引用与完成rag-citation → audit_citations()
benchmark-rag-claim-denominators → claim_coverage()
task-loop-terminal-contract → terminal_contract()
审计给定候选回答的逐条声明与引用,并对完整、无答案、冲突三种状态作终态判断。
产物:声明到版本片段的支持矩阵、独立分母和三值终态卡。
缺链接、链接错误、无支持和未观测分开;忠实度高不自动表示回答完整。
传播来源更正ingestion-delta → classify_versions()
ingestion-retraction → reconcile_support()
graph-wiki-wiki-impact → wiki_impact()
把一个来源改为新版本,再模拟一片段撤回及一来源暂时不可读,计算影响对象。
产物:新增/更正/不可读事件卡、共享支持修复计划与受影响主题/能力/练习清单。
不可读不当删除;仍有支持的共享声明不一概清除;related边不传播更正。
回查并关闭问题memory-invalidation-closure → invalidation_closure()
benchmark-protocol-ledger → score_run()
失效旧版本派生记忆,重新审计受影响题;失败则回到证据选择,缺证据则保留无答案。
产物:前后两版审计表、失败归因、修订或保持不变的理由。
对比仍采用原问题ID与冻结判据;关闭项具有新版本证据,未复核项不改成成功。

闭环验收。 复核者能从任一回答声明追到指定版本片段,也能从撤回片段追到受影响练习。故障注入仅限给定数据:一个无支持引用、一个过期版本、一个不可读来源;三者必须产生不同处置。

已完成范围与未执行部分。 已具备全部教学组件和作业设计;未搭建真实检索服务、调用生成模型或执行真实来源发布更正。外部模型的支持判断准确率、真实检索质量和更新事务一致性仍待实验。

对应路径:基础入门路径、Agent开发路径、Benchmark学习路径。

项目二:结构、训练与推理预算对照

冻结输入。 给两条请求长度3和5、两层、2个KV头、头宽8、每元素2字节、块大小4;另给一个普通浮点LoRA小矩阵和两条长短不同的监督序列。所有模型概率、质量标签和请求时间均为人工给定的教学数据。

阶段具体知识点与教学函数行动和可提交产物阶段验收
明确计算与质量契约attention-heads-budget → kv_budget()
pretraining-loss-denominator → token_loss()
sft-lora-merge → lora_merge_equivalence()
区分Q头与KV头、有效监督token和合并缩放;记录未来服务必须满足的输出质量条件。
产物:模型身份卡、监督位置/损失表和合并前后预期。
损失分母只含有效目标;LoRA等价限于相同浮点层、缩放和无dropout条件,不能推断训练收益。
核算三本缓存账kv-cache-bytes → kv_layout()
cache-scheduling-page-map → page_address()
按有效长度、最长padding和独立分页分别计算占用,再列出每个有效位置的块地址。
产物:有效1024字节、padding1280字节、分页1536字节的手算表。
数值只含所给层配置的KV;权重、临时区、共享、量化附加信息及分布式复制另列为遗漏。
设计负载与调度inference-frameworks-traffic → arrival_schedule()
prefill-decode-chunk-budget → schedule_tokens()
cache-scheduling-continuous → continuous_step()
为三个请求规划五轮进出,固定总token和块预算;比较相同到达率的两种突发度。
产物:到达时刻输入、五轮分配/释放账本和待测负载矩阵。
各轮预算守恒;不把跳过不足资源的教学策略称为实现抢占,合成流量不冒充服务运行。
统计质量约束结果prefill-decode-timing → request_metrics()
inference-frameworks-goodput → qualified_metrics()
benchmark-systems-joint-goodput → slo_overlap()
对人工时间与独立质量标签计算TTFT、TPOT、联合达标和观察窗口吞吐,保留失败请求。
产物:逐请求原始字段、联合条件和指标分母表。
到达0、token时刻0.2/0.3/0.5秒给出TTFT0.2秒和TPOT0.15秒;这是手算,非硬件成绩。
解释差异并回到设计inference-frameworks-tail → latency_summary()
benchmark-systems-submission-validity → submission_layers()
benchmark-metrics-paired → paired_bootstrap()
区分分位数口径、输出质量变化与资源上限;不达标则在开发协议中修订假设,再冻结下一轮。
产物:运行点取舍卡、未完成测量清单和独立报告集规则。
不能把只通过时延条件称作完整合格吞吐或正式认证;没有真实同题运行不填写显著性或加速比。

闭环验收。 另一个读者能用给定尺寸重建三项字节数,能从逐token时间重建延迟,能指出一次结构变化究竟改变参数、缓存还是条件标签。必须保留预算不足、单token输出、超时和质量失败四类边界。

已完成范围与未执行部分。 已完成的是数学/调度/统计教学组件与性能实验设计;未进行权重训练、GPU内核验证、服务压测、硬件计时或MLPerf提交。三个教学输入域通过明示字段表衔接,不宣称已有端到端服务实现。

对应路径:基础入门路径、系统工程路径、Benchmark学习路径。

项目三:代码与GUI任务的执行证据闭环

冻结输入。 冻结4个虚构任务:C1/C2为内存代码文本修复,G1/G2为示意界面记录保存。给定代码基线、目标框、布局版本、动作/观察ID、三值后置条件和预定重试预算;代码和GUI分支采用各自协议,不共用未经定义的动作格式。

阶段具体知识点与教学函数行动和可提交产物阶段验收
冻结契约与预算task-loop-terminal-contract → terminal_contract()
agent-loop-admit-budget → admit_budget()
明确每任务目标、保持性约束、可信回读渠道及执行前预算。
产物:4项任务契约、预算上界和状态分类表。
未知不当成功;必要的回读与重试也计成本,不能仅依赖模型说完成。
分别形成动作候选coding-agent-guarded-replace → guarded_replace()
swe-agent-edit-contract → unique_edit()
gui-agent-map-point → map_point()
代码分支核对基线与唯一锚点;GUI分支核对缩放、留白和对应截图身份。
产物:内存候选补丁、失败反馈和坐标中间值;不实际写文件或点设备。
编辑失败保持原文;合法坐标仍不等于正确控件或成功业务状态。
保留执行关联与恢复openhands-observation → observation_links()
agent-loop-reconcile-outcome → reconcile_outcome()
langgraph-replay-interrupt-node → replay_interrupt_node()
用给定观察关联动作;对超时后的未知结果先回查;模拟节点重跑和外部幂等账本。
产物:动作/观察关联表、未知结果回读计划和重跑记录。
检查点不替代外部幂等;同键不同载荷不能当同一次操作;缺观察不能伪造成功。
做独立业务验收coding-agent-grade-patch → grade_patch()
gui-agent-verify-gui-action → verify_gui_action()
benchmark-agents-final-state → state_acceptance()
代码结果绑定同一补丁版本的修复/回归证据;GUI把驱动回执与后置条件分开。
产物:逐任务验收表和独立判据来源,记录部分满足与未知。
修复和回归必须同时成立;终态只满足2/3时仍可失败;不把SDK停止或进程退出当成业务验收。
比较版本并复核评分器agent-evaluation-success-summary → success_summary()
agent-evaluation-audit-evaluator → audit_evaluator()
benchmark-robustness-paired-controls → paired_control_effects()
保留全尝试历史和独立复核标签;按相同任务ID比较正常效用获益与退化。
产物:首轮/重试/未知分母、评分器误判表与配对四格表。
缺失复核标签单列;净变化零仍可能有退化;不同预算的成绩不直接比较。
定位问题并关闭闭环agent-evaluation-first-divergence → first_divergence()
task-loop-compensation-plan → compensation_plan()
把失败定位为有证据的最早偏差候选;未知返回回读,已确认且可逆的作用才生成补偿计划。
产物:原因候选、下一步证据请求、补偿意图与重新验收条件。
最早偏差不是因果定论;补偿计划没有实际执行;无法回查的任务保留未知而不强制关闭。

闭环验收。 用一次重复触发、一次结果未知、一次评估器假阳性和一次正确定位但未保存的界面状态检验协议。审阅者可区分候选动作、给定回执、独立验收及恢复义务。

已完成范围与未执行部分。 已具备代码字符串、坐标和状态教学组件以及两分支闭环设计;未运行Codex/Claude Code等产品、真实Agent团队、设备、生成代码或第三方工具。GUI三方案与代码三方案的专属路径用于独立对照,不组合成未经实现的系统。

对应路径:Agent开发路径、GUI智能体实践路径、AI编程智能体实践路径、Benchmark学习路径。

复盘如何回到能力目标

将每个未通过项落回能力地图中的具体能力ID和知识点:概念混淆回理解层,公式或分母错误回推导层,输入或状态契约缺失回实践层,证据不足与比较偏差回评估层。只补受影响项,不把一次项目失败判成整个模块都未掌握。

用学习记录模板、评测协议模板和实验记录模板保存产物;未完成的真实实验进入研究队列,不通过修改公共practice_status替代执行证据。

发现新的理解,或需要修正的地方?一起完善这篇笔记 ↗
试试 Transformer、RAG、Codex 或 KV 缓存