推理
Prefill与Decode
分解请求时间线；计算TTFT和逐token延迟
3 个知识点公式 · 代码 · 图解
推理
在内存、延迟与吞吐间做取舍。从核心机制走向具体实现，用推导、代码和反例检验理解。
在这个模块，你将能够
解释Prefill、Decode与缓存调度计算KV体积、块分配与时延设计固定版本服务对照实验综合质量、吞吐、长尾与失败率选运行点
查看能力与实践成果 →推理
KV缓存原理与显存估算
估算不同请求的缓存；区分逻辑长度与物理分配
3 个知识点公式 · 代码 · 图解
推理
缓存分页与连续批处理
区分分页、共享和调度；计算尾块浪费
3 个知识点公式 · 代码 · 图解
推理
推理框架与性能实验
写出可重复性能协议；区分微基准与服务负载
3 个知识点公式 · 代码 · 图解
暂时没有匹配的主题
换个关键词，或探索其他知识模块。