Star
LEARNING PATH / THE FOUNDATIONS

基础入门学习路径

从 Transformer 出发,建立大模型的完整认知。

阅读原文
This article is written in Chinese. The original equations, source links, and code remain unchanged.
本页目录

解释一条请求从token计算、训练目标、缓存预算到外部知识引用的过程,并留下可复核的学习产物。

前置与证据边界

从共同基础中的向量、概率和Python数据结构开始;不要求训练模型或部署服务。 基础入口见共同基础,能力身份见能力地图。

已完成的是已有主题与标准库教学示例的编纂。本路径把它们组织为学习行动和可提交产物;端到端项目、真实模型、GPU服务或真机实验尚未执行。阅读、手算、示例验证与真实实验需分别记录;教学代码运行结果以对应版本的CI为准。

四层学习行动

层级与能力ID代表知识点及示例函数学习行动与提交验收判据
理解
network-understand、training-understand
transformer-causal-attention → causal_attention()
pretraining-target-shift → shift_targets()
sft-label-mask → build_sft_labels()
画三token因果可见矩阵及同一短对话的下一token目标;提交训练输入、标签和mask对照。未来位置权重为零;标签只错位一次;用户提示与需监督回复的位置分清。
推导
network-derive、inference-derive、training-derive
attention-heads-budget → kv_budget()
kv-cache-bytes → kv_layout()
preference-dpo-gradient → dpo_loss()
计算一组头配置的KV预算,再手算一对偏好记录的DPO margin与梯度方向。字节单位与遗漏项齐全;参考策略和正beta明确,概率与log概率不混用。
实践
knowledge-build、knowledge-understand
ingestion-identity → source_fingerprint()
rag-context → select_context()
graph-wiki-wiki-impact → wiki_impact()
用给定文本建来源身份卡,选择预算内片段,画来源更正到主题和练习的影响链。来源版本与解析身份分开;召回集合不等于实际上下文;只有依赖边传播更正。
评估
knowledge-evaluate、benchmark-build
rag-citation → audit_citations()
benchmark-protocol-ledger → score_run()
给单源、多源、无答案和冲突问题预先标注支持关系,提交引用审计与包含错误的结果账本。有引用不等于有支持;无答案允许不作答;错误保留完整分母,不能填写未测模型成绩。

专题分支与实现边界

训练分支继续读偏好学习与DPO与策略优化与GRPO,区分参考策略与组内奖励;知识分支继续读GraphRAG与LLMWiki,区分查询与编纂。课程组织方式见系统学习资源指南,课程标题不替代本表的验收证据。

结业产物与复核

提交一张请求计算与证据卡:token与监督位置、KV预算、选中证据、来源版本、回答支持和未验证部分。再回答一次知识更新应改变权重、检索索引还是Wiki声明,并为选择给出条件。

复核者应能从能力ID、unit_id、主题版本、示例路径/函数、输入和预期重建推演。至少保留一个失败或未知样例,并说明源码已覆盖与教学省略的部分;任何实测结果都需另附原始记录,不能用预期值填写。

使用学习记录模板、实验记录模板和评测协议模板组织产物。可将本路径接入三个跨模块实践项目;真实剩余实验见研究队列。

下一步:系统工程路径、Agent开发路径、Benchmark学习路径。

发现新的理解,或需要修正的地方?一起完善这篇笔记 ↗
试试 Transformer、RAG、Codex 或 KV 缓存