亚洲模型实验室 · arXiv 论文
Entropy Collapse Diagnostic
复现 ERNIE 5.0 Figure 6：同一训练进程中并排观察准确率增长和策略熵坍塌，区分表面增益与训练失稳。
entropyCollapseDiagnosticInformation grammar
它如何组织信息
上下对齐 accuracy/entropy 双面板 + 健康熵带 + collapse 垂线 + 方法共享横轴
- Visual system
- VS-74 ERNIE entropy-collapse diagnostic
- Component ID
ernie-entropy-collapse
Use when
适用判断
适合 RL 稳定性诊断；不能只看 accuracy，熵的方向与合理区间需要按策略定义。
Figure-level evidence
Figure 6 · PDF p.13
两种 IcePop 目标在 accuracy 与 train-logits entropy 上的同步训练动态。
- Verified
- 2026-07-13
- Paper source
- ERNIE 5.0 Technical Report
Structured data
可替换的数据模型
示意数据，仅复现信息结构，不代表最新榜单结果。
{
"steps": [
0,
20,
40,
60,
80,
100,
120,
140,
160,
180,
200
],
"collapseIndex": 7,
"series": [
{
"label": "MISC / Mixed IcePop",
"accuracy": [
0.55,
0.58,
0.61,
0.64,
0.66,
0.68,
0.69,
0.71,
0.72,
0.73,
0.735
],
"entropy": [
0.33,
0.325,
0.318,
0.31,
0.3,
0.295,
0.294,
0.29,
0.291,
0.287,
0.278
]
},
{
"label": "GSPO IcePop",
"accuracy": [
0.55,
0.57,
0.6,
0.63,
0.66,
0.67,
0.685,
0.67,
0.64,
0.65,
0.655
],
"entropy": [
0.33,
0.33,
0.335,
0.33,
0.335,
0.34,
0.35,
0.38,
0.46,
0.47,
0.47
]
}
]
}Related components