全部知识点 · LLM Systems Wiki

本索引定位135个基础知识点。新的论文与工程变化另见2026研究进展，查出处与本地保存记录可进入来源资料库。

v1.0包含45个主题、135个知识点。选择一个问题，先推导，再运行教学示例，最后沿固定版本链接阅读源码。每行对应一份可独立复习的学习单元。

正文、代码、证据由机器可读知识点清单关联；完整模型与设备实践状态见各主题。

模型网络

主题与知识点	核心函数	教学代码
Transformer与自回归生成 · 知识点一：缩放、可见范围与稳定的因果注意力	`causal_attention`	Python
Transformer与自回归生成 · 知识点二：多头的索引变换与输出投影	`split_merge_heads`	Python
Transformer与自回归生成 · 知识点三：训练并行、生成依赖与采样分布	`generate_tokens`	Python
MHA与MQA及GQA · 知识点一：共享键值并不共享查询分布	`grouped_attention`	Python
MHA与MQA及GQA · 知识点二：从持久缓存推导字节数与计算边界	`kv_budget`	Python
MHA与MQA及GQA · 知识点三：均值合并只是转换初始化	`mean_pool_heads`	Python
位置编码与RoPE · 知识点一：从二维旋转推导相对位置	`relative_rotation`	Python
位置编码与RoPE · 知识点二：多频率与两种维度配对布局	`rope_layout`	Python
位置编码与RoPE · 知识点三：线性缩放与缓存位置的一致性	`cached_rope_scores`	Python
前馈网络与归一化 · 知识点一：SwiGLU 的门控计算与等参数宽度	`swiglu`	Python
前馈网络与归一化 · 知识点二：RMSNorm 保持尺度而不去均值	`norm_statistics`	Python
前馈网络与归一化 · 知识点三：归一化位置改变残差雅可比	`residual_paths`	Python

训练

主题与知识点	核心函数	教学代码
预训练目标与数据 · 知识点一：标签只能错位一次，mask属于目标位置	`shift_targets`	Python
预训练目标与数据 · 知识点二：有效token分母决定梯度权重	`token_loss`	Python
预训练目标与数据 · 知识点三：文档切分、重复候选与token打包	`audit_split`	Python
监督微调与LoRA · 知识点一：对话模板、mask交集与目标错位	`build_sft_labels`	Python
监督微调与LoRA · 知识点二：低秩参数、缩放与零初始化梯度	`lora_gradients`	Python
监督微调与LoRA · 知识点三：合并等价成立的精确条件	`lora_merge_equivalence`	Python
偏好学习与DPO · 知识点一：KL最优策略与配分函数抵消	`optimal_policy`	Python
偏好学习与DPO · 知识点二：相对margin、稳定损失与梯度符号	`dpo_loss`	Python
偏好学习与DPO · 知识点三：序列log概率、回复mask与长度偏差	`completion_logratio`	Python
策略优化与GRPO · 知识点一：组内基线、标准差约定与无区分信号	`group_advantages`	Python
策略优化与GRPO · 知识点二：概率比裁剪的方向与冻结旧策略	`clipped_surrogate`	Python
策略优化与GRPO · 知识点三：KL估计的期望条件与不等长归约	`grpo_loss_terms`	Python

推理

主题与知识点	核心函数	教学代码
Prefill与Decode · 知识点一：首 token、逐 token 与请求计时边界	`request_metrics`	Python
Prefill与Decode · 知识点二：缓存改变了每步要计算哪些位置	`attention_work`	Python
Prefill与Decode · 知识点三：分块 Prefill 是受预算约束的状态推进	`schedule_tokens`	Python
KV缓存原理与显存估算 · 知识点一：有效状态、padding与物理分页的三本账	`kv_layout`	Python
KV缓存原理与显存估算 · 知识点二：追加KV之后仍然要读取历史	`cached_attention`	Python
KV缓存原理与显存估算 · 知识点三：块哈希必须包含历史和计算身份	`prefix_block_hashes`	Python
缓存分页与连续批处理 · 知识点一：块表将逻辑连续性与物理连续性解耦	`page_address`	Python
缓存分页与连续批处理 · 知识点二：连续批处理同时守住token和块预算	`continuous_step`	Python
缓存分页与连续批处理 · 知识点三：基数树分叉与锁定叶子的淘汰条件	`radix_split`	Python
推理框架与性能实验 · 知识点一：到达率与突发度是两个独立负载参数	`arrival_schedule`	Python
推理框架与性能实验 · 知识点二：联合达标吞吐与SLO容量不是同一个量	`qualified_metrics`	Python
推理框架与性能实验 · 知识点三：分位数、缺失值和受截断样本	`latency_summary`	Python

Harness

主题与知识点	核心函数	教学代码
Harness任务循环 · 知识点一：把结果未知作为可恢复状态	`transition`	Python
Harness任务循环 · 知识点二：把停止条件变成执行前的预算预留	`admit_budget`	Python
Harness任务循环 · 知识点三：检查点恢复与外部幂等不能互相替代	`reconcile_outcome`	Python
上下文选择与压缩 · 知识点一：预算选择是带必要项的离散优化	`select_context`	Python
上下文选择与压缩 · 知识点二：压缩单位必须维护调用与结果闭包	`trim_complete_turns`	Python
上下文选择与压缩 · 知识点三：用关键字段保持率审计压缩损失	`audit_checkpoint`	Python
Agent记忆与保鲜 · 知识点一：召回适用性先于语义相似度	`eligible_memories`	Python
Agent记忆与保鲜 · 知识点二：时间衰减是排序策略而非真假概率	`freshness_score`	Python
Agent记忆与保鲜 · 知识点三：撤回要传播到派生索引与答案	`invalidation_closure`	Python
工具协议与MCP及Skill · 知识点一：结构合法与业务参数正确是两道门	`validate_query`	Python
工具协议与MCP及Skill · 知识点二：错误分层决定下一步而不是统一重试	`classify_response`	Python
工具协议与MCP及Skill · 知识点三：Skill分层加载控制上下文而非扩大权限	`skill_load_plan`	Python
LangGraph状态图与持久化 · 知识点一：超步边界让并行写入进入显式归并器	`merge_superstep`	Python
LangGraph状态图与持久化 · 知识点二：检查点身份与pending writes记录不同恢复事实	`checkpoint_writes`	Python
LangGraph状态图与持久化 · 知识点三：interrupt恢复重跑节点，并按调用顺序绑定答案	`replay_interrupt_node`	Python
AutoGen对话团队与终止 · 知识点一：轮询团队推进的是发言游标，不是隐式集体推理	`select_round_robin`	Python
AutoGen对话团队与终止 · 知识点二：终止条件消费增量消息，并可跨批次锁存组合	`termination_step`	Python
AutoGen对话团队与终止 · 知识点三：团队存档必须同时覆盖参与者与管理器	`snapshot_team`	Python

知识库

主题与知识点	核心函数	教学代码
RAG与引用回答 · 知识点一：检索文档是潜变量，求和与求积不能交换	`rag_marginals`	Python
RAG与引用回答 · 知识点二：召回集合不等于实际进入上下文的证据	`select_context`	Python
RAG与引用回答 · 知识点三：引用格式有效不等于声明得到支持	`audit_citations`	Python
来源接入与版本管理 · 知识点一：来源身份、正文指纹和解析身份分开保存	`source_fingerprint`	Python
来源接入与版本管理 · 知识点二：增量接入必须区分新增、更正、删除与不可读	`classify_versions`	Python
来源接入与版本管理 · 知识点三：删除原文前先修复共享派生知识	`reconcile_support`	Python
混合检索与重排 · 知识点一：BM25如何同时控制稀有词、词频饱和与长度	`bm25_scores`	Python
混合检索与重排 · 知识点二：RRF融合的是名次，工程加分会改变结论	`reciprocal_rank_fusion`	Python
混合检索与重排 · 知识点三：重排只在候选内工作，必须记录漏斗与回退	`rerank_audit`	Python
GraphRAG与LLMWiki · 知识点一：实体入口、邻接关系与原始片段排序	`local_graph_context`	Python
GraphRAG与LLMWiki · 知识点二：社区摘要与全局map-reduce的预算路径	`reduce_points`	Python
GraphRAG与LLMWiki · 知识点三：Wiki反向链接与类型化知识影响闭包	`wiki_impact`	Python

业务Agent

主题与知识点	核心函数	教学代码
业务Agent任务闭环 · 知识点一：把业务成功写成三值终态契约	`terminal_contract`	Python
业务Agent任务闭环 · 知识点二：按证据依赖选择可执行前沿	`task_frontier`	Python
业务Agent任务闭环 · 知识点三：恢复与补偿分别面对未知和已发生	`compensation_plan`	Python
GUI定位与执行 · 知识点一：展示坐标到设备坐标需要完整变换	`map_point`	Python
GUI定位与执行 · 知识点二：观测有效性是动作执行前的条件	`observation_gate`	Python
GUI定位与执行 · 知识点三：定位、驱动与业务结果必须分层验证	`verify_gui_action`	Python
AI代码开发与反馈 · 知识点一：仓库理解应沿调用关系扩展问题上下文	`repository_slice`	Python
AI代码开发与反馈 · 知识点二：文本补丁必须绑定基线并维护编辑不变量	`guarded_replace`	Python
AI代码开发与反馈 · 知识点三：修复与回归证据要绑定同一补丁版本	`grade_patch`	Python
Agent评测与失败归因 · 知识点一：固定分母并分开首次成功与重试成功	`success_summary`	Python
Agent评测与失败归因 · 知识点二：最早证据偏差只产生归因候选	`first_divergence`	Python
Agent评测与失败归因 · 知识点三：评估器也需要假阳性与假阴性审计	`audit_evaluator`	Python
OpenHands事件流与运行时 · 知识点一：追加日志与活动会话分支是两种顺序	`conversation_path`	Python
OpenHands事件流与运行时 · 知识点二：同一模型响应的多动作要还原成同一消息	`project_action_batches`	Python
OpenHands事件流与运行时 · 知识点三：动作、执行与观察靠三项身份连接	`observation_links`	Python
SWEAgent与智能体计算机接口 · 知识点一：窗口化观察把仓库状态变成可定位的反馈	`file_window`	Python
SWEAgent与智能体计算机接口 · 知识点二：唯一匹配与具体失败反馈限制错误传播	`unique_edit`	Python
SWEAgent与智能体计算机接口 · 知识点三：一个step可能含多次失败尝试，轨迹与模型历史不同	`retry_trace`	Python
Aider仓库地图与编辑协议 · 知识点一：引用图的个性化排名如何变成预算内仓库地图	`repo_map`	Python
Aider仓库地图与编辑协议 · 知识点二：SEARCH/REPLACE是有匹配策略的编辑协议	`search_replace`	Python
Aider仓库地图与编辑协议 · 知识点三：文件级检查点将用户改动与智能体改动分开	`commit_plan`	Python
MobileAgent多智能体协作 · 知识点一：感知框如何变成动作可用的坐标索引	`perception_index`	Python
MobileAgent多智能体协作 · 知识点二：进度摘要、页面事实和操作历史各管什么	`planning_projection`	Python
MobileAgent多智能体协作 · 知识点三：反思结果如何控制历史提交与恢复	`reflection_transition`	Python
AppAgent探索与技能学习 · 知识点一：元素身份把视觉标签连接到探索知识	`element_identity`	Python
AppAgent探索与技能学习 · 知识点二：探索反思怎样进入动作文档槽位	`learn_action_document`	Python
AppAgent探索与技能学习 · 知识点三：部署按当前界面检索，并在网格模式重新定位	`deployment_context`	Python
UITARS感知与动作执行 · 知识点一：截图观测如何经过明确的动作协议	`parse_action`	Python
UITARS感知与动作执行 · 知识点二：模型框、屏幕点与显示缩放不能混为一谈	`grounding_coordinates`	Python
UITARS感知与动作执行 · 知识点三：SDK循环、动作派发与终态的预算	`agent_loop_transition`	Python
CodexCLI架构与执行 · 知识点一：入口分派、运行组件和配置项是三种对象	`launch_plan`	Python
CodexCLI架构与执行 · 知识点二：模型工具项先规范化，再经过注册表和执行策略	`route_call`	Python
CodexCLI架构与执行 · 知识点三：输出保留上限、流事件上限和进程终止互不等价	`capture_output`	Python
ClaudeCode工作流与扩展边界 · 知识点一：SDK响应边界不等于客户端内部工作循环	`response_window`	Python
ClaudeCode工作流与扩展边界 · 知识点二：Hook通过控制协议回调，不是模型自行执行的提示词	`hook_reply`	Python
ClaudeCode工作流与扩展边界 · 知识点三：进程内MCP工具公开了实现，但不消除CLI边界	`sdk_tool_route`	Python

Benchmark

主题与知识点	核心函数	教学代码
评测协议与可复现性 · 知识点一：协议身份与可复现性不是同一件事	`protocol_fingerprint`	Python
评测协议与可复现性 · 知识点二：开发反馈和最终报告必须分开	`split_overlap`	Python
评测协议与可复现性 · 知识点三：失败、重试和分母决定结果含义	`score_run`	Python
评测指标与统计推断 · 知识点一：micro与macro改变了谁拥有更大权重	`grouped_accuracy`	Python
评测指标与统计推断 · 知识点二：比例区间来自检验反演而非给分数加常数	`wilson_interval`	Python
评测指标与统计推断 · 知识点三：比较同一批题时要保留配对关系	`paired_bootstrap`	Python
数据污染与评测集治理 · 知识点一：规范化指纹检测的是一个明确的等价关系	`normalized_fingerprint`	Python
数据污染与评测集治理 · 知识点二：局部重叠用于生成候选，不是污染判决	`ngram_jaccard`	Python
数据污染与评测集治理 · 知识点三：动态评测集需要冻结成员与撤回边界	`release_membership`	Python
通用能力基准与选型 · 知识点一：候选似然与长度归一化可能给出不同答案	`choice_prediction`	Python
通用能力基准与选型 · 知识点二：随机基线解释题型，但不能消除任务难度差异	`chance_adjusted_accuracy`	Python
通用能力基准与选型 · 知识点三：答案解析器是评分器的一部分	`parse_choice`	Python
推理与代码生成评测 · 知识点一：最终答案等价需要先限定表达空间	`numeric_equivalence`	Python
推理与代码生成评测 · 知识点二：pass@k衡量固定采样预算下的覆盖	`pass_at_k`	Python
推理与代码生成评测 · 知识点三：执行器结果不是只有通过与未通过	`execution_summary`	Python
多模态与界面感知评测 · 知识点一：输入预处理先决定模型到底看到了什么	`square_pad_geometry`	Python
多模态与界面感知评测 · 知识点二：答案解析和判分规则也是被测协议的一部分	`mmmu_answer_score`	Python
多模态与界面感知评测 · 知识点三：样本加权总分、学科宏平均与错误层必须分开	`stratified_accuracy`	Python
Agent任务基准与执行评估 · 知识点一：修复成功是有效运行、修复测试与回归保持的交集	`grade_patch`	Python
Agent任务基准与执行评估 · 知识点二：终态谓词允许多种路径，部分满足不等于任务成功	`state_acceptance`	Python
Agent任务基准与执行评估 · 知识点三：任务分母、尝试分母与预算内成功回答不同问题	`budget_report`	Python
RAG检索与回答评测 · 知识点一：上下文AP的分母决定它无法单独衡量漏召回	`context_precision_profile`	Python
RAG检索与回答评测 · 知识点二：上下文召回与回答忠实度检查不同声明集合	`claim_coverage`	Python
RAG检索与回答评测 · 知识点三：自动支持判断是有误差的估计器	`judge_error_audit`	Python
模型裁判与人工校准 · 知识点一：交换顺序必须先还原身份，再计算一致性	`swapped_pair_summary`	Python
模型裁判与人工校准 · 知识点二：人工一致率必须连同标签边际与退化情形解释	`agreement_audit`	Python
模型裁判与人工校准 · 知识点三：校准的是明确事件的概率，覆盖率与条件错误必须同时报告	`calibration_audit`	Python
推理系统性能基准 · 知识点一：计时边界、token分母与分位数定义必须一起冻结	`loadgen_latency_profile`	Python
推理系统性能基准 · 知识点二：边缘分位数达标不能推出联合请求goodput	`slo_overlap`	Python
推理系统性能基准 · 知识点三：性能VALID、提交检查与正式发布是不同证据层	`submission_layers`	Python
稳健性与工具安全评测 · 知识点一：效用、目标攻击成功与受检副作用必须保留不同分母	`security_metrics`	Python
稳健性与工具安全评测 · 知识点二：注册、类型与资源权限是分层门控，状态复制不是隔离	`authorize_fixture_call`	Python
稳健性与工具安全评测 · 知识点三：正常对照与配对差值揭示防御的代价	`paired_control_effects`	Python