Star
07 / EVALUATION

Benchmark

理解分数背后的协议与边界。从核心机制走向具体实现,用推导、代码和反例检验理解。

阅读这个模块的2026研究进展 →

在这个模块,你将能够
识别基准任务、协议与测量范围计算统计、排名和采样指标设计可复现的多类评测协议校准裁判、检查污染并解释结论边界
查看能力与实践成果 →
11 个主题每个主题,都是一条深入理解的路径
Benchmark

评测协议与可复现性

能把模型、数据、提示、评分与预算写成明确的协议对象,并解释指纹能证明什么。;能识别开发集和报告集之间的显式重叠,区分ID检查与污染检测。

3 个知识点公式 · 代码 · 图解
Benchmark

评测指标与统计推断

能根据目标分布选择micro或macro,并从逐题记录还原分母。;能推导并计算Wilson比例区间,解释适用假设与边界情形。

3 个知识点公式 · 代码 · 图解
Benchmark

数据污染与评测集治理

能定义并解释文本规范化规则,区分字节相同、规范化相同与语义相同。;能手算n-gram Jaccard并说明阈值的误报和漏报来源。

3 个知识点公式 · 代码 · 图解
Benchmark

通用能力基准与选型

能从对数似然构造选择题预测,解释长度归一化可能改变排序。;能计算不同选项数量下的均匀随机基线,并说清基线调整的局限。

3 个知识点公式 · 代码 · 图解
Benchmark

推理与代码生成评测

能为数值答案定义明确的等价与未解析状态,避免用任意文本清洗代替判定。;能推导HumanEval常用pass@k估计,并区分样本池组合概率与单次成功率。

3 个知识点公式 · 代码 · 图解
Benchmark

Agent任务基准与执行评估

构造包含有效运行、目标和回归的验收判据;区分终态整题分与条件满足分

3 个知识点公式 · 代码 · 图解
Benchmark

RAG检索与回答评测

分开评估检索与回答;手算检索指标

3 个知识点公式 · 代码 · 图解
Benchmark

模型裁判与人工校准

还原成对顺序交换中的身份并报告解析覆盖率;从混淆矩阵计算人工一致率与kappa

3 个知识点公式 · 代码 · 图解
Benchmark

推理系统性能基准

定义系统负载与计时边界;比较质量约束下的吞吐

3 个知识点公式 · 代码 · 图解
Benchmark

稳健性与工具安全评测

审计正常效用、安全效用与ASR的不同分母;区分模型行为、运行时校验和宿主权限隔离

3 个知识点公式 · 代码 · 图解
试试 Transformer、RAG、Codex 或 KV 缓存