学习资源 · LLM Systems Wiki

检查日期：2026-10-24。本指南保留17个已读取的基础课程、教材和工具文档入口，并连接中央清单的七模块、45主题、135知识点及十个新增方案阅读入口。每点给出既有教学函数、固定源码参照、练习和判据。读取课程入口不代表完成整门课程；以下练习是学习安排，执行结果须另行记录。

七模块阅读选择

新手可先用动手学深度学习、PyTorch基础与Hugging Face LLM Course建立概念和代码基础。已有工程基础的读者可选择CS336公开归档与CMU LLM Systems，再按推理、Harness、知识库和Agent方向下钻。Benchmark先读本库评测协议，再进入工具文档；不要从排行榜分数倒推全部学习内容。

资源	类型	覆盖模块	适用范围与阅读状态	本库采用的做法
动手学深度学习	教材	模型网络、训练	中文教材，从数学、图示到代码与练习；按前置关系逐章学习	公式、图示、代码与讨论结合；为每主题加入手算示例与进阶追问
Stanford CS336	课程	模型网络、训练、推理、Benchmark	2025年公开归档，适合已有Python、深度学习与系统基础者	按构建、系统分析、数据与对齐形成递进作业；知识单元要求可提交产物
Hugging Face LLM Course	课程	模型网络、训练	公开课程入口；先掌握Python，结合深度学习基础	按基础、数据与进阶模块分层；将课程片段关联到主题目标
PyTorch 基础教程	实践教程	模型网络、训练	官方基础教程，包含完整机器学习工作流	先完成最小流程，再拆张量、数据、模型与优化概念
PyTorch SDPA 教程	实践教程	模型网络、推理	官方算子教程；性能实验需要匹配硬件与版本	区分数学正确性和执行优化，先比较输出再比较性能
LLM Systems	课程	训练、推理、知识库	CMU 11868 Spring 2025公开课程说明	把计算、内存、通信、检索与维护纳入系统能力图
vLLM 文档入口	官方文档	推理、Benchmark	官方文档入口，API和支持条件需固定版本	框架实践页要求版本、负载和质量约束，不只记录安装命令
SGLang 文档入口	官方文档	推理	官方文档入口，运行条件按当前版本核对	将缓存机制与具体实现、基准场景分开组织
Hugging Face Agents Course	课程	Harness、业务Agent、Benchmark	公开课程入口，包含理论、框架学习、作业与自测	以理论、实践和自测形成路径，明确不同学习起点
LangGraph 官方文档	官方文档	Harness、业务Agent	状态化Agent运行时官方概览；不是完整大学课程	围绕状态、恢复与确定步骤组织Harness实践
Full Stack LLM Bootcamp	课程	Harness、知识库、业务Agent、Benchmark	Spring 2023公开Bootcamp；保留历史背景，工具细节需复核	把数据、产品、评估和部署组成完整项目闭环
Hugging Face RAG 实践	实践教程	知识库、Benchmark	公开RAG实验配方；不是全面理论课程	按检索、切分、上下文和回答分阶段做对照与错误归因
LM Evaluation Harness	评测工具文档	Benchmark、训练	活跃评测工具文档；当前CLI与旧教程可能不同	任务配置、输入构造、过滤与指标分别版本化
OpenCompass 文档	评测工具文档	Benchmark、业务Agent	公开评测文档，含中文入口	先跑通完整评测概念流程，再深入组件和失败分析
Ragas 评测指标	评测工具文档	知识库、Benchmark	公开指标概览；不同指标的参考答案与模型依赖需逐项确认	区分端到端、组件和业务指标，避免只优化局部分数
HELM 评测框架	评测工具文档	Benchmark	README注明2026年6月进入维护模式；方法和历史框架仍可学习	采用多指标、透明输入与可复现协议；运行支持需单独确认
MLPerf Inference	评测工具文档	推理、Benchmark	正式性能基准文档入口，提交规则按版本核对	明确负载场景、质量条件和测量边界，区分自测与正式结果

怎样使用逐点映射

以下路线按主题清单和知识点清单生成，覆盖每个主题的三个知识点。先看每主题的课程起点，再进入正文相应“知识点一/二/三”，最后阅读对应函数和源码。起点表示本库建议的学习入口，不宣称课程逐项讲过该方案或该函数；涉及具体算法的论文与官方依据在主题正文中逐点列出。

表内“源码参照”指已登记、实际读取的固定commit文件，精确原函数和读取范围可在来源清单的locator、reading_scope回查。教学函数名属于本库，不冒充上游函数名；如半衰期排序、语义支持审计、权限门控等，还包含明确标注的教学策略。读者应对照正文理解相同处与简化处，不能把两份代码当作等价实现。

每行交付一份小记录：输入与假设、手算预期、源码定位、一个反例、实际验证方式。先独立计算，再看教学代码。作者给出输入与预期，维护者组织必要的独立验证；这张映射表不包含课程作业、模型或设备实验结果。复习与内容更新的具体顺序见持续更新指南。

七模块逐点路线

模型网络：4主题、12知识点

先从张量、条件概率和链式法则补基础，再把注意力、头布局、位置与归一化连成一次前向计算。CS336的基础构建路线用于组织作业；PyTorch SDPA教程用于辨认数学运算与优化算子的差别。完成本模块应能解释形状和索引，尚不要求GPU性能实验。

Transformer与自回归生成

课程或文档起点：动手学深度学习。正文：Transformer与自回归生成；完整教学示例：transformer.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：缩放、可见范围与稳定的因果注意力；`causal_attention`	nanoGPT model.py	用三token得分表加入未来位置mask，再将可见得分同时平移一个常数。检查：未来权重为零、每行归一化且平移不改概率。
知识点二：多头的索引变换与输出投影；`split_merge_heads`	nanoGPT model.py	将宽度4拆成两头，再按索引拼回。检查：逐元素复原；头数不能整除时需识别非法布局。
知识点三：训练并行、生成依赖与采样分布；`generate_tokens`	nanoGPT model.py	给定转移概率与同一随机种子重放两步生成。检查：区分模型条件概率、温度变换和采样结果；不称为真实语言模型。

MHA与MQA及GQA

课程或文档起点：PyTorch SDPA 教程。正文：MHA与MQA及GQA；完整教学示例：attention-heads.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：共享键值并不共享查询分布；`grouped_attention`	Transformers Llama 模型实现	为8个Q头和2个KV头画分组表，比较各Q的输出。检查：每组4个Q共享KV，但注意力权重仍随Q变化。
知识点二：从持久缓存推导字节数与计算边界；`kv_budget`	Transformers Llama 模型实现	改变KV头数并计算两种配置的缓存字节。检查：缓存按KV头数缩放；Q头得分计算不能同比删除。
知识点三：均值合并只是转换初始化；`mean_pool_heads`	Transformers Llama 模型实现	对不同投影头做均值合并，再比较合并前后输出。检查：给出不等价反例，说明转换初始化还需训练与评估。

位置编码与RoPE

课程或文档起点：Stanford CS336。正文：位置编码与RoPE；完整教学示例：position.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：从二维旋转推导相对位置；`relative_rotation`	Transformers Llama 模型实现	手算二维旋转前后的范数与两向量点积。检查：同频旋转保持范数，点积只依赖相对相位。
知识点二：多频率与两种维度配对布局；`rope_layout`	Transformers Llama 模型实现	将相邻配对换成前后半区配对并写出置换。检查：输入和投影必须一起转换；只换函数产生不一致。
知识点三：线性缩放与缓存位置的一致性；`cached_rope_scores`	Transformers RoPE 参数实现	同一历史键分别用正确位置和错一位位置计算得分。检查：缓存位置、频率和缩放需一致；不推断长上下文质量。

前馈网络与归一化

课程或文档起点：Stanford CS336。正文：前馈网络与归一化；完整教学示例：ffn-norm.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：SwiGLU 的门控计算与等参数宽度；`swiglu`	Transformers Llama 模型实现	计算一个门控前馈层的三个投影及参数量。检查：等参数宽度应按三投影预算推导，不能沿用两投影宽度。
知识点二：RMSNorm 保持尺度而不去均值；`norm_statistics`	Transformers Llama 模型实现	对非零均值向量分别做RMSNorm和LayerNorm。检查：RMSNorm不去均值；检查epsilon与分母的退化条件。
知识点三：归一化位置改变残差雅可比；`residual_paths`	Transformers Llama 模型实现	在线性子层下展开前置、后置归一化的残差雅可比。检查：区分恒等通路和归一化雅可比，不用局部计算宣称训练优劣。

训练：4主题、12知识点

先用PyTorch基础与Hugging Face LLM Course理解训练工作流，再按预训练、SFT、偏好目标、策略优化推进。CS336用于目标、数据和对齐的学习顺序；精确梯度及默认损失分支回到论文和TRL/PEFT源码。每次练习先写有效token分母，再算损失。

预训练目标与数据

课程或文档起点：Hugging Face LLM Course。正文：预训练目标与数据；完整教学示例：pretraining.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：标签只能错位一次，mask属于目标位置；`shift_targets`	Transformers 因果语言模型损失；nanoGPT train.py	为四token序列标记预测位置、目标与ignore位置。检查：标签只错位一次，mask属于目标；检查末尾无目标位置。
知识点二：有效token分母决定梯度权重；`token_loss`	Transformers 因果语言模型损失	用有效长度不同的两段计算token均值损失。检查：按有效token合并，不能把两段均值直接等权平均。
知识点三：文档切分、重复候选与token打包；`audit_split`	nanoGPT OpenWebText 准备脚本	构造重复文档与跨分割近重复候选，再标出打包边界。检查：文档去重、数据隔离、token打包是三种检查，候选相似不等于污染判决。

监督微调与LoRA

课程或文档起点：Hugging Face LLM Course。正文：监督微调与LoRA；完整教学示例：sft.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：对话模板、mask交集与目标错位；`build_sft_labels`	TRL SFTTrainer 与文本collator	给出assistant与completion两个mask，计算监督交集。检查：只在目标位置保留允许token，不能错把输入角色当监督标签。
知识点二：低秩参数、缩放与零初始化梯度；`lora_gradients`	PEFT LoRA 层实现	令LoRA的B为零，手算A、B两路首步梯度。检查：普通LoRA的初始梯度不对称；缩放alpha/r需计入。
知识点三：合并等价成立的精确条件；`lora_merge_equivalence`	PEFT LoRA 层实现	比较W加低秩分支和合并权重的浮点前向。检查：在无dropout的约定下近似一致；量化和变体另验。

偏好学习与DPO

课程或文档起点：Stanford CS336。正文：偏好学习与DPO；完整教学示例：preference.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：KL最优策略与配分函数抵消；`optimal_policy`	TRL DPOTrainer 实现	给有限回答、正参考概率和奖励计算最优策略。检查：概率和为1；说明配分函数如何在成对比值中抵消。
知识点二：相对margin、稳定损失与梯度符号；`dpo_loss`	TRL DPOTrainer 实现	给偏好与非偏好log比，推导稳定DPO损失及梯度。检查：margin增大损失降低；区分beta和参考模型的作用。
知识点三：序列log概率、回复mask与长度偏差；`completion_logratio`	TRL DPOTrainer 实现	对两段不同长度回复改变mask再计算序列log比。检查：保持模板、token和EOS一致；求和与均值定义不可混用。

策略优化与GRPO

课程或文档起点：Stanford CS336。正文：策略优化与GRPO；完整教学示例：policy-optimization.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：组内基线、标准差约定与无区分信号；`group_advantages`	TRL GRPOTrainer 实现	比较奖励全相等、两种奖励及缺失奖励三组。检查：分清缺失与零奖励，解释标准差约定和零区分信号。
知识点二：概率比裁剪的方向与冻结旧策略；`clipped_surrogate`	TRL GRPOTrainer 实现	对正负优势分别将概率比移到裁剪区外。检查：检查哪一侧梯度被截断，旧策略保持冻结。
知识点三：KL估计的期望条件与不等长归约；`grpo_loss_terms`	TRL GRPOTrainer 实现	用不同回复长度比较序列均值、token均值和KL项。检查：写明归约分母及KL期望条件，单批估计不作全局保证。

推理：4主题、12知识点

沿CMU LLM Systems的计算、内存和系统测量视角学习。vLLM与SGLang是框架文档，不是完整课程；以固定源码核对缓存和调度，把成本估算与真实性能分开。学完本模块后连接周日的推理系统性能基准。

Prefill与Decode

课程或文档起点：vLLM 文档入口。正文：Prefill与Decode；完整教学示例：prefill-decode.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：首 token、逐 token 与请求计时边界；`request_metrics`	serve.py	画到达、首token、末token三点并加入单token请求。检查：TTFT与TPOT分开，单token没有普通的N减1分母。
知识点二：缓存改变了每步要计算哪些位置；`attention_work`	modeling_llama.py	数出长度为4的prefill与追加一个token的注意力配对。检查：缓存避免重算旧KV，当前Q仍读取历史。
知识点三：分块 Prefill 是受预算约束的状态推进；`schedule_tokens`	scheduler.py	用有限token预算推进长prefill与decode请求。检查：本轮分配总量不超过预算，未完成部分留到下轮。

KV缓存原理与显存估算

课程或文档起点：LLM Systems。正文：KV缓存原理与显存估算；完整教学示例：kv-cache.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：有效状态、padding与物理分页的三本账；`kv_layout`	kv_cache_manager.py；cache_utils.py	对长度3和5、块长4的请求计算有效与已分配KV。检查：逻辑长度、padding和分页三账分开；按字节而非token报告。
知识点二：追加KV之后仍然要读取历史；`cached_attention`	modeling_llama.py	向单头KV追加一项，与完整因果计算逐项对照。检查：追加后仍关注全部可见历史，不把缓存理解成只看新token。
知识点三：块哈希必须包含历史和计算身份；`prefix_block_hashes`	kv_cache_utils.py	相同token前缀分别改变模型身份和父块哈希。检查：兼容身份和完整历史都影响可复用块；尾部不完整块另处理。

缓存分页与连续批处理

课程或文档起点：SGLang 文档入口。正文：缓存分页与连续批处理；完整教学示例：cache-scheduling.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：块表将逻辑连续性与物理连续性解耦；`page_address`	kv_cache_utils.py	给块表和逻辑token下标求物理地址。检查：用商取块、余数取块内偏移；只查询有效已分配位置。
知识点二：连续批处理同时守住token和块预算；`continuous_step`	scheduler.py	逐轮推进三个请求并记录token、空闲块和结束释放。检查：两种预算均不透支；跳过与抢占不是同一策略。
知识点三：基数树分叉与锁定叶子的淘汰条件；`radix_split`	radix_cache.py	用两个共享前缀序列画基数树分裂，标记锁定状态。检查：公共前缀保留，分叉尾部独立；锁定不等于永不需要释放。

推理框架与性能实验

课程或文档起点：vLLM 文档入口。正文：推理框架与性能实验；完整教学示例：inference-frameworks.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：到达率与突发度是两个独立负载参数；`arrival_schedule`	serve.py	构造相同平均到达率、不同突发度的流量。检查：区分合成开环到达和服务完成；不以均值描述全部压力。
知识点二：联合达标吞吐与SLO容量不是同一个量；`qualified_metrics`	serve.py	为每个请求标质量、TTFT和TPOT是否达标。检查：goodput统计联合达标请求，失败仍在固定观察窗口内。
知识点三：分位数、缺失值和受截断样本；`latency_summary`	serve.py	将完成延迟和超时样本分列，再求明确约定的分位数。检查：本例最近秩不能当作MLPerf分位数；超时不是已知完成时长。

Harness：6主题、18知识点

用Agents Course建立工具调用与任务循环概念，再读LangGraph文档中的状态和恢复。先完成四个通用主题，再用LangGraph、AutoGen比较具体状态表示；图检查点、长期记忆和外部业务账本分别建模。

Harness任务循环

课程或文档起点：Hugging Face Agents Course。正文：Harness任务循环；完整教学示例：agent-loop.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：把结果未知作为可恢复状态；`transition`	LangGraph PregelLoop 状态推进	推演工具发出后断连、结果未知和权威回读。检查：未知不能直接转成功；先对账再决定是否重试。
知识点二：把停止条件变成执行前的预算预留；`admit_budget`	AutoGen token 与超时终止条件	给定剩余成本与步数，在调用前预留预算。检查：重试和回读也消耗预算，不能只在调用后发现超限。
知识点三：检查点恢复与外部幂等不能互相替代；`reconcile_outcome`	LangGraph PregelLoop 状态推进	相同幂等键分别配相同载荷和冲突载荷。检查：检查点与外部账本各管一层，键冲突不能默认为重放成功。

上下文选择与压缩

课程或文档起点：LangGraph 官方文档。正文：上下文选择与压缩；完整教学示例：context.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：预算选择是带必要项的离散优化；`select_context`	AutoGen TokenLimitedChatCompletionContext.get_messages	给必要项、可选项和小整数token成本，枚举最优子集。检查：必要项必须保留；总成本受限；价值可加只是教学假设。
知识点二：压缩单位必须维护调用与结果闭包；`trim_complete_turns`	AutoGen BufferedChatCompletionContext.get_messages	裁剪带工具调用及结果的多个回合。检查：保留完整连续后缀，不能留下无调用来源的工具结果。
知识点三：用关键字段保持率审计压缩损失；`audit_checkpoint`	SWE-agent LastNObservations 历史处理	先定义关键身份、约束和版本，再审计压缩文本。检查：保留率分母独立设定；文本字段保留不等于语义全保留。

Agent记忆与保鲜

课程或文档起点：LangGraph 官方文档。正文：Agent记忆与保鲜；完整教学示例：memory.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：召回适用性先于语义相似度；`eligible_memories`	LangGraph InMemoryStore 过滤与删除	混合命名空间、过期、撤回及活跃记忆做资格过滤。检查：先检查适用性再排序，高相似度不能越过资格门。
知识点二：时间衰减是排序策略而非真假概率；`freshness_score`	LangGraph InMemoryStore 过滤与删除	在一个半衰期前后比较同相关度条目。检查：排序分按约定衰减；该公式是教学策略，不是真值概率。
知识点三：撤回要传播到派生索引与答案；`invalidation_closure`	LangGraph InMemoryStore 过滤与删除	在有环依赖图中撤回一个来源并遍历派生项。检查：得到有限失效闭包，不因依赖环无限展开。

工具协议与MCP及Skill

课程或文档起点：Hugging Face Agents Course。正文：工具协议与MCP及Skill；完整教学示例：tools-skills.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：结构合法与业务参数正确是两道门；`validate_query`	MCP Python SDK 工具调用与结果校验	构造类型合法但词表或资源不允许的查询。检查：结构和业务检查分别判断；不声称实现完整JSON Schema。
知识点二：错误分层决定下一步而不是统一重试；`classify_response`	MCP Python SDK 工具调用与结果校验	逐项输入超时、协议错误、工具错误和正常返回。检查：错误层决定处理方式，正常返回仍待业务验收。
知识点三：Skill分层加载控制上下文而非扩大权限；`skill_load_plan`	Agent Skills 参考实现 to_prompt	计算只读元数据、激活正文和附带资源的加载成本。检查：按需加载降低上下文占用，不能扩大工具权限。

LangGraph状态图与持久化

课程或文档起点：LangGraph 官方文档。正文：LangGraph状态图与持久化；完整教学示例：langgraph.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：超步边界让并行写入进入显式归并器；`merge_superstep`	LangGraph apply_writes	让两个任务同时写LastValue及求和归并器。检查：LastValue多写冲突与显式归并分开；不假设任意归并可交换。
知识点二：检查点身份与pending writes记录不同恢复事实；`checkpoint_writes`	LangGraph InMemorySaver	为同线程的检查点与任务写入构造键。检查：区分快照与pending writes，普通写去重有明确身份范围。
知识点三：interrupt恢复重跑节点，并按调用顺序绑定答案；`replay_interrupt_node`	LangGraph interrupt	节点在interrupt前记录副作用，恢复后重放。检查：节点从头运行，恢复答案按调用次序；外部副作用另需幂等。

AutoGen对话团队与终止

课程或文档起点：Hugging Face Agents Course。正文：AutoGen对话团队与终止；完整教学示例：autogen.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：轮询团队推进的是发言游标，不是隐式集体推理；`select_round_robin`	AutoGen RoundRobinGroupChatManager	对两个参与者推进六次轮询并从中间游标恢复。检查：发言顺序由游标决定，不能从轮询推断协作质量。
知识点二：终止条件消费增量消息，并可跨批次锁存组合；`termination_step`	AutoGen 消息数与文本终止	让不同delta批次先后触发计数与文本条件。检查：比较AND锁存和OR时机；禁止把全历史重复当增量输入。
知识点三：团队存档必须同时覆盖参与者与管理器；`snapshot_team`	AutoGen BaseGroupChat 运行和存档	构造参与者加管理器快照并改变参与者名称。检查：运行中快照与静止边界分开，恢复身份和状态结构需匹配。

知识库：4主题、12知识点

从Hugging Face RAG实践配方拆出检索、上下文、生成与评价，再用FSDL项目视角补来源更新和维护。GraphRAG、LightRAG与LLMWiki源码对应不同的数据模型，不统一称为向量库。每点都保留证据身份与预算。

RAG与引用回答

课程或文档起点：Hugging Face RAG 实践。正文：RAG与引用回答；完整教学示例：rag.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：检索文档是潜变量，求和与求积不能交换；`rag_marginals`	modeling_rag.py	两文档两token手算先求积再求和与相反次序。检查：RAG-Sequence与RAG-Token的边缘化一般不相等。
知识点二：召回集合不等于实际进入上下文的证据；`select_context`	operate.py	给候选证据、长度和预算求进入提示的子集。检查：召回到不等于实际使用到，保留被丢弃证据身份。
知识点三：引用格式有效不等于声明得到支持；`audit_citations`	utils.py	准备可解析链接但无支持关系的回答声明。检查：格式有效与语义支持分开计数，不能按链接数量判忠实度。

来源接入与版本管理

课程或文档起点：Full Stack LLM Bootcamp。正文：来源接入与版本管理；完整教学示例：ingestion.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：来源身份、正文指纹和解析身份分开保存；`source_fingerprint`	lightrag.py	对原文、规范化文本和解析参数分别生成身份。检查：文本指纹与解析身份不同；规范化不是语义等价证明。
知识点二：增量接入必须区分新增、更正、删除与不可读；`classify_versions`	incremental_index.py	比较同标题改文、新增、删除与暂不可读四种输入。检查：显式分类；对照GraphRAG所读调用方是否消费更新集。
知识点三：删除原文前先修复共享派生知识；`reconcile_support`	lightrag.py	删除共享来源之一并重新计算派生项支持集合。检查：剩余来源仍有效时不误删；失去全部支持的项需失效。

混合检索与重排

课程或文档起点：Hugging Face RAG 实践。正文：混合检索与重排；完整教学示例：hybrid-search.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：BM25如何同时控制稀有词、词频饱和与长度；`bm25_scores`	BM25Similarity.java	构造三文档改变词频、长度和文档频率。检查：观察词频饱和与长度归一化，不把重复词无限线性加分。
知识点二：RRF融合的是名次，工程加分会改变结论；`reciprocal_rank_fusion`	store.ts	为两排名列表计算标准RRF，再对照qmd额外奖金。检查：融合名次而非原始分数；说明工程变体可改变顺序。
知识点三：重排只在候选内工作，必须记录漏斗与回退；`rerank_audit`	utils.py	给召回、重排与截断名单并加入重排失败。检查：记录每级漏失和回退，候选外相关文档无法被重排救回。

GraphRAG与LLMWiki

课程或文档起点：LLM Systems。正文：GraphRAG与LLMWiki；完整教学示例：graph-wiki.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：实体入口、邻接关系与原始片段排序；`local_graph_context`	mixed_context.py	从一个实体沿关系收集原始片段并排预算。检查：保留实体、关系、文本证据对应，邻接不等于语义支持。
知识点二：社区摘要与全局map-reduce的预算路径；`reduce_points`	search.py	对社区摘要返回点按分数排序并装入reduce预算。检查：区分map输出、去重和截断；合成评分不代表答案正确。
知识点三：Wiki反向链接与类型化知识影响闭包；`wiki_impact`	backlinks.ts	为来源、声明、主题构造带类型反向依赖图。检查：区分普通相关链接与失效传播边，保留影响路径。

业务Agent：12主题、36知识点

先读Agents Course与FSDL的任务实践组织方式，完成任务闭环、GUI、代码反馈和失败归因四个通用主题，再进入八个具体方案。课程负责概念起点，方案页负责固定版本的实际接口；选型顺序见Agent开源方案导读。

业务Agent任务闭环

课程或文档起点：Full Stack LLM Bootcamp。正文：业务Agent任务闭环；完整教学示例：task-loop.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：把业务成功写成三值终态契约；`terminal_contract`	OSWorld DesktopEnv 观测、步骤与验收	对模型done、工具返回和业务证据组合列终态表。检查：三值成功、失败、未知有据可查，不能由停止信号替代验收。
知识点二：按证据依赖选择可执行前沿；`task_frontier`	LangGraph PregelLoop 状态推进	在含证据依赖的任务图中找下一批可执行节点。检查：只有前置证据满足才入前沿，相关关系不是先修关系。
知识点三：恢复与补偿分别面对未知和已发生；`compensation_plan`	LangGraph PregelLoop 状态推进	给未知结果和已知生效步骤分别制定恢复与补偿。检查：先回读未知结果；补偿不是原子回滚，也可能失败。

GUI定位与执行

课程或文档起点：Hugging Face Agents Course。正文：GUI定位与执行；完整教学示例：gui-agent.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：展示坐标到设备坐标需要完整变换；`map_point`	OSWorld PythonController.execute_action	带裁剪、缩放和偏移计算同一个展示点。检查：参数约定完整，变换顺序可检查；不泛化全部GUI框架。
知识点二：观测有效性是动作执行前的条件；`observation_gate`	OSWorld DesktopEnv 观测、步骤与验收	让页面版本变化或截图过期后再次请求执行。检查：旧观测不能继续授权原动作，坐标合法不代表对象仍在。
知识点三：定位、驱动与业务结果必须分层验证；`verify_gui_action`	OSWorld PythonController.execute_action	比较定位命中、驱动正常和业务保存三层结果。检查：任一层证据缺失单独保留，不能只看点击API成功。

AI代码开发与反馈

课程或文档起点：Full Stack LLM Bootcamp。正文：AI代码开发与反馈；完整教学示例：coding-agent.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：仓库理解应沿调用关系扩展问题上下文；`repository_slice`	SWE-agent WindowedFile 定位与替换	在小调用图中从问题符号扩展上下文切片。检查：记录选入理由与遗漏依赖，静态图不覆盖动态行为。
知识点二：文本补丁必须绑定基线并维护编辑不变量；`guarded_replace`	SWE-agent WindowedFile 定位与替换	同一补丁应用到正确、过期与歧义基线。检查：基线和唯一匹配需检查，匹配失败不能静默扩大编辑范围。
知识点三：修复与回归证据要绑定同一补丁版本；`grade_patch`	SWE-bench 测试分组与解决状态	给修复测试、回归测试和运行有效性组合判补丁。检查：验证证据绑定同一补丁版本，成功解释不能代替执行结果。

Agent评测与失败归因

课程或文档起点：Hugging Face Agents Course。正文：Agent评测与失败归因；完整教学示例：agent-evaluation.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：固定分母并分开首次成功与重试成功；`success_summary`	SWE-agent DefaultAgent 动作与轨迹	给三个任务的首次、重试和未知结果列表。检查：首次成功、预算内最终成功与未知边界分开报告。
知识点二：最早证据偏差只产生归因候选；`first_divergence`	SWE-agent DefaultAgent 动作与轨迹	比较预期契约与实际轨迹，找最早已知偏差。检查：只给归因候选，后续失败不证明该偏差是唯一根因。
知识点三：评估器也需要假阳性与假阴性审计；`audit_evaluator`	SWE-bench 测试分组与解决状态	对独立人工标签与评估器标签做混淆表。检查：假阳性、假阴性与缺失标签都保留，不能只看一致比例。

OpenHands事件流与运行时

课程或文档起点：Hugging Face Agents Course。正文：OpenHands事件流与运行时；完整教学示例：openhands.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：追加日志与活动会话分支是两种顺序；`conversation_path`	event_store.py	用分叉事件日志从叶子回溯到根。检查：活动分支不包含兄弟分支；缺祖先和环要识别。
知识点二：同一模型响应的多动作要还原成同一消息；`project_action_batches`	base.py	将同一响应的两个ActionEvent投影为模型消息。检查：按响应身份归组，不能把每动作伪装成独立模型响应。
知识点三：动作、执行与观察靠三项身份连接；`observation_links`	observation.py；action.py	为动作与观察设计call ID、事件ID、工具名错配。检查：三种身份逐项检查，收到观察不自动证明业务成功。

SWEAgent与智能体计算机接口

课程或文档起点：Hugging Face Agents Course。正文：SWEAgent与智能体计算机接口；完整教学示例：swe-agent.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：窗口化观察把仓库状态变成可定位的反馈；`file_window`	windowed_file.py	给文件首尾及窗口大小计算显示行区间。检查：边界夹取且行号可定位；窗口化实现不是当前默认全部配置。
知识点二：唯一匹配与具体失败反馈限制错误传播；`unique_edit`	str_replace_editor	对零次、一次、两次SEARCH命中分别构造编辑请求。检查：只接受唯一匹配，错误反馈明确；不执行真实文件编辑。
知识点三：一个step可能含多次失败尝试，轨迹与模型历史不同；`retry_trace`	agents.py	一正式step含解析失败、重询和最终动作，生成轨迹。检查：重询尝试与环境步分开，保留失败，不把done当作评测通过。

Aider仓库地图与编辑协议

课程或文档起点：Hugging Face Agents Course。正文：Aider仓库地图与编辑协议；完整教学示例：aider.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：引用图的个性化排名如何变成预算内仓库地图；`repo_map`	repomap.py	用三文件引用图加入查询偏置并压缩地图预算。检查：排序与预算两阶段分开，教学硬预算不等于上游约15%容差。
知识点二：SEARCH/REPLACE是有匹配策略的编辑协议；`search_replace`	editblock_coder.py	分别提供精确、缩进变体和重复SEARCH块。检查：读清匹配顺序及首匹配行为；不宣称所有模糊路径都可达。
知识点三：文件级检查点将用户改动与智能体改动分开；`commit_plan`	base_coder.py	给用户已有改动与Agent改动的文件集合制定检查点。检查：文件级归属边界明确，Git检查点不是业务正确性证据。

MobileAgent多智能体协作

课程或文档起点：Hugging Face Agents Course。正文：MobileAgent多智能体协作；完整教学示例：mobile-agent.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：感知框如何变成动作可用的坐标索引；`perception_index`	Mobile-Agent-v2 run.py	改变两个文本框的纵向间隔到合并阈值两侧。检查：几何阈值严格比较，中心坐标必须对应同一截图。
知识点二：进度摘要、页面事实和操作历史各管什么；`planning_projection`	Mobile-Agent-v2 run.py	分别列已接受操作、完成目标和页面事实。检查：进度和事实不互相替代，标注完成仍来自外部判断。
知识点三：反思结果如何控制历史提交与恢复；`reflection_transition`	Mobile-Agent-v2 run.py	同一操作分别给A、B、C反思结果。检查：只有A提交成功历史；B返回后仍需新观测，back不是事务撤销。

AppAgent探索与技能学习

课程或文档起点：Hugging Face Agents Course。正文：AppAgent探索与技能学习；完整教学示例：app-agent.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：元素身份把视觉标签连接到探索知识；`element_identity`	AppAgent Android控制与元素身份	修改同控件的resource-id、描述和列表index。检查：比较UID变化，临时数字标签不能跨截图复用。
知识点二：探索反思怎样进入动作文档槽位；`learn_action_document`	AppAgent 自主探索脚本	对四种反思结果更新动作槽位和排除集合。检查：INEFFECTIVE不写文档；自主路径已有槽位保留。
知识点三：部署按当前界面检索，并在网格模式重新定位；`deployment_context`	AppAgent 部署执行脚本	比较元素模式与网格区域5的上下文及坐标。检查：只按当前UID取文档；所读网格分支不拼接元素文档。

UITARS感知与动作执行

课程或文档起点：Hugging Face Agents Course。正文：UITARS感知与动作执行；完整教学示例：ui-tars.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：截图观测如何经过明确的动作协议；`parse_action`	UI-TARS动作文本解析器	将允许动作、未知动作和重复参数写成字符串。检查：解析与派发分开；教学拒绝规则不全等于上游解析器。
知识点二：模型框、屏幕点与显示缩放不能混为一谈；`grounding_coordinates`	UI-TARS动作文本解析器	把V1_0点500/250映射到1920×1080截图，再改变缩放。检查：分清start_box、附加坐标和Operator实际消费字段。
知识点三：SDK循环、动作派发与终态的预算；`agent_loop_transition`	UI-TARS SDK GUIAgent	将call_user放在动作列表中间并加入轮数上限。检查：终端动作后不继续派发，循环数不等于设备动作数。

CodexCLI架构与执行

课程或文档起点：Hugging Face Agents Course。正文：CodexCLI架构与执行；完整教学示例：codex-cli.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：入口分派、运行组件和配置项是三种对象；`launch_plan`	Codex cli_main 入口分派	分别画interactive与exec入口、配置和会话对象。检查：组件路径准确，不把配置项或Thread当成独立进程。
知识点二：模型工具项先规范化，再经过注册表和执行策略；`route_call`	Codex ToolRouter 工具调用构造	组合未知工具、载荷错误、Forbidden及严格审批。检查：工具注册、许可与执行环境分层，禁止项不因批准被覆盖。
知识点三：输出保留上限、流事件上限和进程终止互不等价；`capture_output`	Codex 进程执行与输出回收	两块abc/def，保留4字节且最多1个增量事件。检查：消费6字节、保留4字节；输出截断不改变给定退出状态。

ClaudeCode工作流与扩展边界

课程或文档起点：Hugging Face Agents Course。正文：ClaudeCode工作流与扩展边界；完整教学示例：claude-code.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：SDK响应边界不等于客户端内部工作循环；`response_window`	ClaudeSDKClient 查询与响应流	给assistant、tool、result及下一响应组成的事件列。检查：只读到首个result，无result保持未完成；不推断业务成功。
知识点二：Hook通过控制协议回调，不是模型自行执行的提示词；`hook_reply`	Claude SDK 控制请求分发	令注册hook正常返回deny，再构造未知callback ID。检查：协议success可同时含动作deny，未知回调是处理错误。
知识点三：进程内MCP工具公开了实现，但不消除CLI边界；`sdk_tool_route`	Claude SDK 进程内MCP工具	模拟未知工具、输入错误和handler错误。检查：核对SDK适配器isError；不把接口实现冒充客户端核心。

Benchmark：11主题、33知识点

先学协议、统计与污染，再分任务读取官方评分器。OpenCompass给组件学习入口，HELM提供多指标的历史方法参照；lm-eval、Ragas和MLPerf是专门工具文档，不能互相替代评分定义。以下按中央清单顺序列出十一主题。

评测协议与可复现性

课程或文档起点：LM Evaluation Harness。正文：评测协议与可复现性；完整教学示例：benchmark-protocol.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：协议身份与可复现性不是同一件事；`protocol_fingerprint`	LM Evaluation Harness 结果追踪	给协议字典调整键顺序，再改变预算字段。检查：规范化指纹区分实质设置；同指纹不证明可复现执行。
知识点二：开发反馈和最终报告必须分开；`split_overlap`	LM Evaluation Harness 任务协议	设计开发样本与最终评测样本的重叠记录。检查：检测成员重叠，不能发现全部隐性训练污染。
知识点三：失败、重试和分母决定结果含义；`score_run`	LM Evaluation Harness 结果追踪	为固定任务集加入失败、超时和重试。检查：写清任务分母及预算，不能只统计成功返回样本。

评测指标与统计推断

课程或文档起点：HELM 评测框架。正文：评测指标与统计推断；完整教学示例：benchmark-metrics.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：micro与macro改变了谁拥有更大权重；`grouped_accuracy`	LM Evaluation Harness 指标实现	两组分别1/1和0/9正确，计算micro与macro。检查：总分分别为0.1与0.5，解释样本权重和组权重。
知识点二：比例区间来自检验反演而非给分数加常数；`wilson_interval`	SciPy 二项检验与Wilson区间实现	对0次成功及全成功小样本计算Wilson区间。检查：边界仍有不确定性；写明独立二项与z值约定。
知识点三：比较同一批题时要保留配对关系；`paired_bootstrap`	LM Evaluation Harness 指标实现	对同题A/B成绩用共同索引做bootstrap。检查：保留配对关系和随机种子，不把相关题当独立重复实验。

数据污染与评测集治理

课程或文档起点：LM Evaluation Harness。正文：数据污染与评测集治理；完整教学示例：benchmark-contamination.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：规范化指纹检测的是一个明确的等价关系；`normalized_fingerprint`	LM Evaluation Harness 文本规范化与Ngram	为标点、大小写变化文本制定规范化再求指纹。检查：可检测的是所定义等价关系，不等于语义污染识别。
知识点二：局部重叠用于生成候选，不是污染判决；`ngram_jaccard`	LM Evaluation Harness 去污染实现	改变n与阈值计算局部重叠候选。检查：保留假阳性反例，相似度不直接判定训练集泄漏。
知识点三：动态评测集需要冻结成员与撤回边界；`release_membership`	LiveBench 数据版本与公共评测逻辑	给评测发布日期、撤回和成员ID构造版本集合。检查：报告固定成员快照，日期更新不能悄悄改变比较分母。

通用能力基准与选型

课程或文档起点：LM Evaluation Harness。正文：通用能力基准与选型；完整教学示例：benchmark-general.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：候选似然与长度归一化可能给出不同答案；`choice_prediction`	LM Evaluation Harness 任务协议	给长短候选的总log分与长度归一化分。检查：允许两种评分选出不同答案，长度单位必须冻结。
知识点二：随机基线解释题型，但不能消除任务难度差异；`chance_adjusted_accuracy`	MMLU-Pro 领域准确率统计	比较选项数不同的题集的均匀猜测基线。检查：随机校正可为负，不能因此消除任务难度差异。
知识点三：答案解析器是评分器的一部分；`parse_choice`	MMLU-Pro 领域准确率统计	对明确标记、多个矛盾答案和缺标记文本解析。检查：解析失败单独记录；该教学规则不等于所有基准规则。

推理与代码生成评测

课程或文档起点：LM Evaluation Harness。正文：推理与代码生成评测；完整教学示例：benchmark-reasoning-code.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：最终答案等价需要先限定表达空间；`numeric_equivalence`	GSM8K 最终答案提取与正确性检查	给数值文本、单位及不支持的表达形式判等价。检查：先限定表达空间，最终答案正确不证明推理链正确。
知识点二：pass@k衡量固定采样预算下的覆盖；`pass_at_k`	HumanEval pass@k与执行汇总	在n=10、c=2、k=3时计算pass@k。检查：结果为1减56/120，即8/15；采样预算和独立性前提保留。
知识点三：执行器结果不是只有通过与未通过；`execution_summary`	HumanEval 执行检查与隔离说明	给通过、失败、超时与执行异常结果汇总。检查：执行器状态分开，不把沙箱异常当模型答案错误。

多模态与界面感知评测

课程或文档起点：OpenCompass 文档。正文：多模态与界面感知评测；完整教学示例：benchmark-multimodal.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：输入预处理先决定模型到底看到了什么；`square_pad_geometry`	mm_utils.py	将640×480输入补成正方形，再反算原点。检查：竖直padding为80；此分支不代表MMMU默认预处理。
知识点二：答案解析和判分规则也是被测协议的一部分；`mmmu_answer_score`	MMMU 答案解析与评估	构造选择题解析失败、两位小数及字符串匹配案例。检查：记录随机回退与宽松判据，不能以自写严格解析器代替官方分数。
知识点三：样本加权总分、学科宏平均与错误层必须分开；`stratified_accuracy`	MMMU 答案解析与评估	两学科样本量不同并标记预处理、理解及评分错误。检查：总体样本加权与学科宏平均分开，归因层次不全是GUI定位。

Agent任务基准与执行评估

课程或文档起点：Hugging Face Agents Course。正文：Agent任务基准与执行评估；完整教学示例：benchmark-agents.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：修复成功是有效运行、修复测试与回归保持的交集；`grade_patch`	SWE-bench 测试状态与修复评分	枚举修复测试、回归测试与有效运行组合。检查：通过取三者交集，同一patch与环境必须一致。
知识点二：终态谓词允许多种路径，部分满足不等于任务成功；`state_acceptance`	WebArena 功能正确性评估器	两条不同动作路径到同一任务终态。检查：按终态谓词验收，部分满足或自报完成不能算通过。
知识点三：任务分母、尝试分母与预算内成功回答不同问题；`budget_report`	HumanEval pass@k 估计与按任务聚合	固定任务总数与允许尝试，再算预算内成功。检查：任务分母和尝试分母分开，保留资源使用与未知结果。

RAG检索与回答评测

课程或文档起点：Ragas 评测指标。正文：RAG检索与回答评测；完整教学示例：benchmark-rag.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：上下文AP的分母决定它无法单独衡量漏召回；`context_precision_profile`	Ragas 上下文精度实现	用相关标签1、0、1算上下文AP，再删除最后一个正例。检查：AP可从5/6升到1，说明它不能单独衡量漏召回。
知识点二：上下文召回与回答忠实度检查不同声明集合；`claim_coverage`	Ragas 上下文召回实现；Ragas 忠实度实现	分别列参考答案声明、上下文支持和回答声明集合。检查：召回与忠实度分母不同；链接存在不计语义支持。
知识点三：自动支持判断是有误差的估计器；`judge_error_audit`	Ragas 忠实度实现	将裁判判断与人工复核对齐并构造偏置样本。检查：报告假阳性、假阴性与覆盖率；裁判估计不能当真值。

模型裁判与人工校准

课程或文档起点：OpenCompass 文档。正文：模型裁判与人工校准；完整教学示例：benchmark-judge.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：交换顺序必须先还原身份，再计算一致性；`swapped_pair_summary`	FastChat 成对裁判调用、顺序交换与结果加载	同一对候选交换展示顺序并还原身份。检查：槽位偏好与候选偏好分开，错误和不一致不丢弃。
知识点二：人工一致率必须连同标签边际与退化情形解释；`agreement_audit`	scikit-learn Cohen kappa 实现	做三分类混淆矩阵并计算kappa。检查：保留标签边际；退化分母未定义而非自动满分。
知识点三：校准的是明确事件的概率，覆盖率与条件错误必须同时报告；`calibration_audit`	LM Evaluation Harness 多类 Brier 聚合	对人工仲裁一致事件的预测概率分桶。检查：校准、覆盖和条件错误同时报告，不能在报告集调阈值。

推理系统性能基准

课程或文档起点：MLPerf Inference。正文：推理系统性能基准；完整教学示例：benchmark-systems.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：计时边界、token分母与分位数定义必须一起冻结；`loadgen_latency_profile`	MLPerf LoadGen 结果与延迟计算	冻结请求时间线和样本数组，按LoadGen取分位数。检查：零基floor(n乘p)与最近秩不同；token路径分母要求输出数大于1。
知识点二：边缘分位数达标不能推出联合请求goodput；`slo_overlap`	serve.py	构造TTFT和TPOT分别达标但交集较小的请求集。检查：边缘分位数不推出联合goodput，质量约束另计。
知识点三：性能VALID、提交检查与正式发布是不同证据层；`submission_layers`	performance_check.py；accuracy_check.py	给性能VALID、精度检查和正式发布不同状态。检查：保留三层证据；MLPerf缓存规则与普通暖缓存自测不能混用。

稳健性与工具安全评测

课程或文档起点：Hugging Face Agents Course。正文：稳健性与工具安全评测；完整教学示例：benchmark-robustness.py。

知识点与教学函数	固定源码参照	练习产物与检查条件
知识点一：效用、目标攻击成功与受检副作用必须保留不同分母；`security_metrics`	AgentDojo 任务执行、效用与安全目标检查	分别给正常任务与攻击案例，统计效用和目标副作用。检查：不同分母分别保留，检测范围外不能称全面安全。
知识点二：注册、类型与资源权限是分层门控，状态复制不是隔离；`authorize_fixture_call`	AgentDojo 工具注册、参数校验和依赖注入	模拟已注册但参数类型错或资源权限缺失的调用。检查：注册、类型和权限逐门判断，状态复制不构成真实隔离。
知识点三：正常对照与配对差值揭示防御的代价；`paired_control_effects`	AgentDojo 任务执行、效用与安全目标检查	同一任务在正常与防御设置下成对比较。检查：同时报告防御收益和正常任务代价，保留配对身份。

跨模块复习如何验收

完成逐点练习后，每次选择一条跨模块链，写清相邻环节的输入输出和没有被验证的假设。下面三条路径使用既有主题，不要求安装完整框架。

路径	可交付的小产物	验证与边界
GQA → KV缓存 → 连续批处理 → 推理系统性能基准	同一请求集合的缓存字节表、物理块表、调度时间线、TTFT/TPOT与联合达标表	先核算单位和预算，再核对分位数约定；算术成立不证明GPU吞吐，正式MLPerf还需精度与提交规则
来源版本 → BM25/RRF → 上下文选择 → RAG评测	固定文档版本、候选名次、入选上下文、参考声明与回答声明支持表	同时检查漏召回、预算截断和裁判错误；引用链接可点击不能替代内容支持
任务契约 → 工具调用 → 检查点恢复 → Agent任务评测	动作身份表、未知结果回读记录、状态快照、预算内任务终态表	恢复事件历史不自动回滚外部副作用；模型或协议结束不等于独立任务通过

复习时先合上正文重做一个原例，再改变一个条件：换头分组、重复SEARCH、删除证据、缺少result、把同一调用重复送达等。能说明为什么结果变化，比复述项目名称更能暴露理解缺口。个人记录绑定unit ID、page_version和来源版本；课程观看进度、教学测试状态与真实实验状态分开保存。更多项目组织见跨模块实践项目。

借鉴的是学习方法

D2L把公式、图示、代码和练习放在一起；CS336公开大纲按基础构建、系统分析、规模、数据与对齐组织作业。本库据此为所有知识单元增加目标、前置、具体推导或案例、实践产物与掌握标准，而不只在页末加链接。依据：D2L与CS336公开大纲。

Hugging Face课程提供分层入口、自测与实践，OpenCompass文档明确先完成一次完整评测、再学习和扩展组件。本库因此提供不同起点的学习路径，并要求每轮学习形成一个能复核的小产物。依据：Agents Course与OpenCompass。

FSDL课程把LLMOps、产品、检索和工具连接到应用，Ragas区分端到端、组件及业务指标。本库据此增加跨模块项目与Benchmark模块，要求改进既解释机制，也说明测量口径。依据：FSDL与Ragas指标概览。

这些是本库的设计取舍，尚未通过用户学习实验验证其效果。课程原作业和代码按原站约定使用，本库不复制完整课程或代交作业答案。

版本与维护状态

CS336与CMU页面使用2025年公开材料，FSDL使用Spring 2023课程，均明确保留年份背景。HELM的README注明2026年6月进入维护模式，HumanEval原仓库注明不再维护；本库仍引用其方法，并将当前运行支持作为单独待核验项。lm-eval的README记录了CLI及安装方式变化，因此不能照抄旧教程命令。

公开课程页面可以阅读，实际运行可能需要本地依赖、硬件或模型服务；本文没有替读者创建账号、购买资源或运行大模型课程作业。资源的读取范围与来源身份见机器可读清单及来源索引。