分布与不确定性 · 厂商发布
Pass@k ECDF
显示随着样本预算 k 增加，累计有多少任务至少被解出一次。
ecdfInformation grammar
它如何组织信息
经验累计分布阶梯 + k 预算线 + 面积差
- Visual system
- VS-23 Magenta probability steps
- Component ID
openai-passk-ecdf
Use when
适用判断
适合代码生成和采样式推理；不能把 pass@k 当作单次成功率。
Source lineage
OpenAI / ChatGPT
高留白、单一强调色、compute 与 reliability 叙事
Open formal source ↗Structured data
可替换的数据模型
示意数据，仅复现信息结构，不代表最新榜单结果。
{
"series": [
{
"label": "Reasoning",
"points": [
[
1,
42
],
[
2,
57
],
[
4,
69
],
[
8,
78
],
[
16,
84
],
[
32,
88
]
]
},
{
"label": "Base",
"points": [
[
1,
34
],
[
2,
45
],
[
4,
55
],
[
8,
62
],
[
16,
67
],
[
32,
70
]
]
}
]
}Related components