核对截止：2026-10-25。先读注意力头、位置编码和FFN与归一化，再看本页。新的问题是：除了选择哪些专家、缓存多少token，能否进一步控制每个专家的宽度，以及每一步真正计算哪些历史位置？
MoSE：专家被选中后，也不必总是完整执行
MoSE列入ICML 2026官方目录。作者在专家内部使用共享参数的嵌套子网络：路由器选择专家，宽度参数决定该专家的中间维度。训练需要让多个宽度共同工作，不能把普通MoE的矩阵临时裁窄就当成已训练好的MoSE。本轮读到arXiv v2的机制与训练目标。录用记录 · 论文正文与版本
对输入维度为d、FFN扩展比为4的论文设置，宽度w对应的中间维度为：
这使小宽度和大宽度共享一个参数前缀。下面只估算两个矩阵乘的乘加次数MAC，不计激活、通信、路由、padding和内核启动；一次MAC也不等于一次FLOP。
from math import ceil
def expert_macs(d, widths):
if d <= 0 or any(not 0 < w <= 1 for w in widths):
raise ValueError("维度为正，宽度位于(0,1]")
return sum(2 * d * ceil(4 * d * w) for w in widths)
print(expert_macs(4, [0.5, 1.0])) # 192 MAC
print(expert_macs(4, [1.0, 1.0])) # 256 MAC
flowchart LR
A[输入token] --> B[路由选择专家]
B --> C[确定每个专家的宽度]
C --> D[共享参数前缀切片]
D --> E[专家FFN计算]
E --> F[按路由权重合并]
图里的“选专家”和“选宽度”是两个控制点。论文讨论统一宽度、按路由概率分配宽度和测试时宽度识别；上面的小函数只说明预算如何变化，没有训练这些策略。192比256少25%的MAC，不能直接写成推理延迟降低25%。需要把硬件利用率、不同宽度的批处理方式和下游精度一起测量。
RoBSA：用RoPE部分寻找值得精算的块
RoBSA是ACL 2026主会长文，研究MLA在解码阶段的稀疏计算。论文将MLA的内容分量与RoPE分量分开，用后者形成便宜的相关性代理，再选择块执行注意力；还需要逐层校准代理与完整分数的相似性。本轮读取了论文§2的分解、假设和算法设计。录用记录 · 论文正文
C表示内容部分，R表示经过RoPE的位置部分；d_C和d_R是相应维度。论文比较的是这些分数经过softmax后的分布。下面用“块内最大代理分数”演示选择过程，仅用于理解块粒度，不复现论文完整的多头聚合、逐层校准及必须保留位置的策略。
from math import sqrt
def proxy_blocks(query, keys, content_dim, block_size, keep_blocks):
if not query or content_dim < 0 or block_size <= 0 or keep_blocks < 0:
raise ValueError("维度、块大小和保留数量无效")
if any(len(key) != len(query) for key in keys):
raise ValueError("向量维度必须一致")
scores = [sum(q * k for q, k in zip(query, key)) /
sqrt(content_dim + len(query)) for key in keys]
blocks = [max(scores[i:i + block_size])
for i in range(0, len(scores), block_size)]
return sorted(range(len(blocks)), key=lambda i: (-blocks[i], i))[:keep_blocks]
print(proxy_blocks([1, 0], [[1, 0], [0, 1], [-1, 0], [2, 0]], 2, 2, 1))
# [1]：选择第二个块，块内两个位置一起进入后续精算
flowchart LR
A[MLA查询与缓存] --> B[提取RoPE分量]
B --> C[轻量代理分数]
C --> D[逐层策略与块选择]
A --> E[所选块的完整注意力]
D --> E
E --> F[本步输出]
代理遗漏的内容相关性可能很重要，因此不能把高平均相似度解释为每个token都安全。论文针对MLA与长上下文解码的结论，也不能直接移植到任意MHA模型或prefill阶段。复核时至少同时保留层、上下文长度、选择预算和任务分数。
公司维护的实现：看接口与计算栈如何接住新模型
| 项目 | 本轮版本依据 | 值得对照的实现问题 |
|---|---|---|
| Hugging Face Transformers | v5.20.2，2026-10-19；当前提交50e35cc0… | 发布说明修复生成输入类型变化和专家并行梯度问题；模型输入、缓存和并行布局也是架构落地的一部分 |
| NVIDIA Megatron-LM | core_v0.19.2，2026-09-18；当前提交20527695… | 该版更新TransformerEngine并加入FP4与1F1B All-to-All overlap相关支持；MoE成本还受专家分发与通信影响 |
Transformers发布说明、prepare_inputs_for_generation源码、Megatron发布说明、MoELayer源码分别保留完整提交与读取范围。这里列的是工程对照，并非声称这两个项目已实现上述论文算法；最新提交也不等同于所列release的代码。
读完后做一个对照
固定专家数量改变宽度，计算MAC预算；再固定宽度改变所选块数，解释二者分别减少哪一类工作。最后设计反例：便宜的RoPE代理恰好漏掉关键内容token时，延迟下降与回答质量会怎样变化？这些是教学推演，模型训练和GPU实验尚未执行。