Benchmark
评测协议与可复现性
能把模型、数据、提示、评分与预算写成明确的协议对象,并解释指纹能证明什么。;能识别开发集和报告集之间的显式重叠,区分ID检查与污染检测。
3 个知识点公式 · 代码 · 图解
理解分数背后的协议与边界。从核心机制走向具体实现,用推导、代码和反例检验理解。
能把模型、数据、提示、评分与预算写成明确的协议对象,并解释指纹能证明什么。;能识别开发集和报告集之间的显式重叠,区分ID检查与污染检测。
能根据目标分布选择micro或macro,并从逐题记录还原分母。;能推导并计算Wilson比例区间,解释适用假设与边界情形。
能定义并解释文本规范化规则,区分字节相同、规范化相同与语义相同。;能手算n-gram Jaccard并说明阈值的误报和漏报来源。
能从对数似然构造选择题预测,解释长度归一化可能改变排序。;能计算不同选项数量下的均匀随机基线,并说清基线调整的局限。
能为数值答案定义明确的等价与未解析状态,避免用任意文本清洗代替判定。;能推导HumanEval常用pass@k估计,并区分样本池组合概率与单次成功率。
区分感知、推理和交互;固定多模态预处理
构造包含有效运行、目标和回归的验收判据;区分终态整题分与条件满足分
分开评估检索与回答;手算检索指标
还原成对顺序交换中的身份并报告解析覆盖率;从混淆矩阵计算人工一致率与kappa
定义系统负载与计时边界;比较质量约束下的吞吐
审计正常效用、安全效用与ASR的不同分母;区分模型行为、运行时校验和宿主权限隔离
换个关键词,或探索其他知识模块。