Star
LEARNING PATH / SYSTEMS ENGINEERING

系统工程学习路径

把缓存、调度和负载连接成可以测量的系统。

阅读原文
This article is written in Chinese. The original equations, source links, and code remain unchanged.
本页目录

将网络结构、缓存布局与调度预算连接到逐请求统计,设计有质量约束的推理实验。

前置与证据边界

先能解释因果注意力、Q/K/V形状和基本字节换算;可从基础入门路径完成这些前置。 基础入口见共同基础,能力身份见能力地图。

已完成的是已有主题与标准库教学示例的编纂。本路径把它们组织为学习行动和可提交产物;端到端项目、真实模型、GPU服务或真机实验尚未执行。阅读、手算、示例验证与真实实验需分别记录;教学代码运行结果以对应版本的CI为准。

四层学习行动

层级与能力ID代表知识点及示例函数学习行动与提交验收判据
理解
network-understand、inference-understand
transformer-head-layout → split_merge_heads()
attention-heads-mapping → grouped_attention()
position-layout → rope_layout()
标注Q头到KV组映射、拆合头顺序和RoPE配对布局,提交形状与身份卡。共享KV不等于共享查询分布;维度置换须与投影布局一致,不把不同布局直接逐元素比较。
推导
network-derive、inference-derive
kv-cache-bytes → kv_layout()
cache-scheduling-page-map → page_address()
prefill-decode-timing → request_metrics()
对长短两个请求计算有效/padding/分页KV,并用统一时钟推导TTFT与TPOT。页尾浪费与padding分开;块内偏移正确;单token的TPOT未定义,未计内存项目列明。
实践
inference-build
cache-scheduling-continuous → continuous_step()
prefill-decode-chunk-budget → schedule_tokens()
inference-frameworks-traffic → arrival_schedule()
设计五轮请求进出与预算账本;在相同到达率下安排不同突发度的合成序列。每轮同时守住token和物理块预算;代码只合成状态和到达时间,未连接GPU服务。
评估
inference-evaluate、network-evaluate、benchmark-build
inference-frameworks-goodput → qualified_metrics()
inference-frameworks-tail → latency_summary()
benchmark-systems-latency-statistics → loadgen_latency_profile()
benchmark-systems-joint-goodput → slo_overlap()
固定质量标签、观察窗口和分位数定义,比较联合达标率、吞吐与长尾;提交失败仍在分母的逐请求表。区分最近秩与LoadGen取整口径;单独的TTFT/TPOT达标率不等于联合达标;不能用理想FLOP推断加速比。

专题分支与实现边界

拓展检查KV缓存原理与显存估算的prefix_block_hashes,给模型或adapter不同的缓存身份反例;再读推理系统性能基准的submission_layers,区分自测、提交检查与正式认证。硬件型号、精度、热身、缓存命中、并发、输出质量和停止条件须在真实实验前另行冻结。

结业产物与复核

提交缓存预算、负载矩阵、逐请求原始字段与质量约束统计方案。若TTFT偏高,分别提出排队、长提示和预处理假设,并说明各需什么证据,暂不做未经测量的框架排名。

复核者应能从能力ID、unit_id、主题版本、示例路径/函数、输入和预期重建推演。至少保留一个失败或未知样例,并说明源码已覆盖与教学省略的部分;任何实测结果都需另附原始记录,不能用预期值填写。

使用学习记录模板、实验记录模板和评测协议模板组织产物。可将本路径接入三个跨模块实践项目;真实剩余实验见研究队列。

下一步:Benchmark学习路径、Agent开发路径。

发现新的理解,或需要修正的地方?一起完善这篇笔记 ↗
试试 Transformer、RAG、Codex 或 KV 缓存