训练
预训练目标与数据
定位目标错位和mask；计算CE梯度与有效token加权
3 个知识点公式 · 代码 · 图解
训练
从数据与目标，走向模型能力。从核心机制走向具体实现，用推导、代码和反例检验理解。
在这个模块，你将能够
区分预训练、SFT、偏好与策略优化计算损失、低秩参数与相对优势设计数据切分、模板与奖励检查以独立任务和污染分析判断训练效果
查看能力与实践成果 →训练
监督微调与LoRA
核验模板mask和监督目标；推导LoRA参数梯度
3 个知识点公式 · 代码 · 图解
训练
偏好学习与DPO
推导KL重参数化；核算DPO稳定损失和梯度
3 个知识点公式 · 代码 · 图解
训练
策略优化与GRPO
计算组优势及缺失奖励边界；推导裁剪梯度与old冻结作用
3 个知识点公式 · 代码 · 图解
暂时没有匹配的主题
换个关键词，或探索其他知识模块。