将网络结构、缓存布局与调度预算连接到逐请求统计,设计有质量约束的推理实验。
前置与证据边界
先能解释因果注意力、Q/K/V形状和基本字节换算;可从基础入门路径完成这些前置。 基础入口见共同基础,能力身份见能力地图。
已完成的是已有主题与标准库教学示例的编纂。本路径把它们组织为学习行动和可提交产物;端到端项目、真实模型、GPU服务或真机实验尚未执行。阅读、手算、示例验证与真实实验需分别记录;教学代码运行结果以对应版本的CI为准。
四层学习行动
| 层级与能力ID | 代表知识点及示例函数 | 学习行动与提交 | 验收判据 |
|---|---|---|---|
理解network-understand、inference-understand | transformer-head-layout → split_merge_heads() attention-heads-mapping → grouped_attention() position-layout → rope_layout() | 标注Q头到KV组映射、拆合头顺序和RoPE配对布局,提交形状与身份卡。 | 共享KV不等于共享查询分布;维度置换须与投影布局一致,不把不同布局直接逐元素比较。 |
推导network-derive、inference-derive | kv-cache-bytes → kv_layout() cache-scheduling-page-map → page_address() prefill-decode-timing → request_metrics() | 对长短两个请求计算有效/padding/分页KV,并用统一时钟推导TTFT与TPOT。 | 页尾浪费与padding分开;块内偏移正确;单token的TPOT未定义,未计内存项目列明。 |
实践inference-build | cache-scheduling-continuous → continuous_step() prefill-decode-chunk-budget → schedule_tokens() inference-frameworks-traffic → arrival_schedule() | 设计五轮请求进出与预算账本;在相同到达率下安排不同突发度的合成序列。 | 每轮同时守住token和物理块预算;代码只合成状态和到达时间,未连接GPU服务。 |
评估inference-evaluate、network-evaluate、benchmark-build | inference-frameworks-goodput → qualified_metrics() inference-frameworks-tail → latency_summary() benchmark-systems-latency-statistics → loadgen_latency_profile() benchmark-systems-joint-goodput → slo_overlap() | 固定质量标签、观察窗口和分位数定义,比较联合达标率、吞吐与长尾;提交失败仍在分母的逐请求表。 | 区分最近秩与LoadGen取整口径;单独的TTFT/TPOT达标率不等于联合达标;不能用理想FLOP推断加速比。 |
专题分支与实现边界
拓展检查KV缓存原理与显存估算的prefix_block_hashes,给模型或adapter不同的缓存身份反例;再读推理系统性能基准的submission_layers,区分自测、提交检查与正式认证。硬件型号、精度、热身、缓存命中、并发、输出质量和停止条件须在真实实验前另行冻结。
结业产物与复核
提交缓存预算、负载矩阵、逐请求原始字段与质量约束统计方案。若TTFT偏高,分别提出排队、长提示和预处理假设,并说明各需什么证据,暂不做未经测量的框架排名。
复核者应能从能力ID、unit_id、主题版本、示例路径/函数、输入和预期重建推演。至少保留一个失败或未知样例,并说明源码已覆盖与教学省略的部分;任何实测结果都需另附原始记录,不能用预期值填写。
使用学习记录模板、实验记录模板和评测协议模板组织产物。可将本路径接入三个跨模块实践项目;真实剩余实验见研究队列。
下一步:Benchmark学习路径、Agent开发路径。