Star
LEARNING PATH / EVALUATION PRACTICE

Benchmark学习路径

让每个分数,都有可信的协议和解释。

阅读原文
This article is written in Chinese. The original equations, source links, and code remain unchanged.
本页目录

把评测目标转成冻结的输入、预算、判据与分母,并区分测量器可靠性和被评系统能力。

前置与证据边界

能阅读结构化逐题记录,理解比率、条件概率与均值;缺少基础时先补共同基础。 基础入口见共同基础,能力身份见能力地图。

已完成的是已有主题与标准库教学示例的编纂。本路径把它们组织为学习行动和可提交产物;端到端项目、真实模型、GPU服务或真机实验尚未执行。阅读、手算、示例验证与真实实验需分别记录;教学代码运行结果以对应版本的CI为准。

四层学习行动

层级与能力ID代表知识点及示例函数学习行动与提交验收判据
理解
benchmark-understand
benchmark-protocol-identity → protocol_fingerprint()
benchmark-general-likelihood → choice_prediction()
benchmark-multimodal-input-contract → square_pad_geometry()
制作模型/数据/提示/解析器/预处理/预算的协议卡,提交长度归一化与图像填充反例。同名基准不等于同一协议;候选分数、单位和模型实际可见输入可回查。
推导
benchmark-derive
benchmark-metrics-aggregation → grouped_accuracy()
benchmark-metrics-wilson → wilson_interval()
benchmark-reasoning-code-passk → pass_at_k()
benchmark-rag-context-ranking → context_precision_profile()
分别手算micro/macro、Wilson、pass@k与上下文AP,逐项标明抽样单位和分母。不混不同量纲指标;n=5、正确2、k=2给出0.7;上下文AP不能替代全库召回。
实践
benchmark-build
benchmark-protocol-splits → split_overlap()
benchmark-protocol-ledger → score_run()
benchmark-agents-task-acceptance → grade_patch()
benchmark-systems-latency-statistics → loadgen_latency_profile()
为代码、Agent与服务请求设计独立评分记录;冻结切分、测试ID和计时口径。未运行、超时、环境错误与任务失败分别保存;没有运行证据不能算修复成功;ID不重叠仍不证明无语义污染。
评估
benchmark-evaluate
benchmark-contamination-release → release_membership()
benchmark-judge-order-mapping → swapped_pair_summary()
benchmark-judge-human-agreement → agreement_audit()
benchmark-judge-probability-calibration → calibration_audit()
benchmark-robustness-utility-security-denominators → security_metrics()
提交快照成员、双顺序裁判、人工混淆矩阵、概率分箱与正常/受扰动对照表。错误不是平局,kappa可能未定义;拟合校准与选阈值不用最终测试集;正常效用和案例ASR分母独立。

专题分支与实现边界

按对象延伸:RAG检索与回答评测使用独立声明支持标签;多模态与界面感知评测保留预处理和错误层;Agent任务基准与执行评估固定任务、尝试和预算;推理系统性能基准区分自测与正式提交。工具课程入口见系统学习资源指南。

结业产物与复核

交付一份至少含无答案、无法解析、超时、未运行和重复采样的评测设计包。由他人凭协议恢复样本与评分规则,并能指出一个综合分无法支持的结论。

复核者应能从能力ID、unit_id、主题版本、示例路径/函数、输入和预期重建推演。至少保留一个失败或未知样例,并说明源码已覆盖与教学省略的部分;任何实测结果都需另附原始记录,不能用预期值填写。

使用学习记录模板、实验记录模板和评测协议模板组织产物。可将本路径接入三个跨模块实践项目;真实剩余实验见研究队列。

下一步:系统工程路径、GUI智能体实践路径、AI编程智能体实践路径。

发现新的理解,或需要修正的地方?一起完善这篇笔记 ↗
试试 Transformer、RAG、Codex 或 KV 缓存