亚洲模型实验室 · arXiv 论文
Attention Throughput Cliff
复现 MiniMax-01 Figure 8：比较 softmax、lightning、hybrid 与其他线性 attention 在序列拉长时的吞吐和 OOM 边界。
throughputCliffLinesInformation grammar
它如何组织信息
log sequence 横轴多机制吞吐线 + 末端 OOM 叉标 + 长上下文保持率直读
- Visual system
- VS-66 MiniMax throughput cliff
- Component ID
minimax-attention-throughput-cliff
Use when
适用判断
适合统一 GPU、并行度和 batch 条件下的长序列压力测试；不可跨硬件比较绝对吞吐。
Figure-level evidence
Figure 8 · PDF p.10
五种 attention 机制在 1K-65K 序列长度下的 token/GPU/s 曲线。
- Verified
- 2026-07-12
- Paper source
- MiniMax-01 Technical Report
Structured data
可替换的数据模型
示意数据，仅复现信息结构，不代表最新榜单结果。
{
"lengths": [
1024,
2048,
4096,
8192,
16384,
32768,
65536
],
"series": [
{
"label": "Hybrid-lightning",
"values": [
16200,
15900,
15700,
15300,
14600,
13800,
12900
]
},
{
"label": "Lightning",
"values": [
15400,
15600,
15700,
15100,
15000,
15400,
15700
]
},
{
"label": "Softmax",
"values": [
16600,
15800,
14500,
12700,
10100,
6800,
null
],
"oomAt": 65536
},
{
"label": "HGRN2",
"values": [
14300,
14200,
14100,
14000,
13900,
14200,
14500
]
},
{
"label": "Mamba2",
"values": [
12900,
13000,
12900,
12800,
12800,
13000,
null
],
"oomAt": 65536
}
]
}Related components