亚洲模型实验室 · arXiv 论文
Attention Hardware Roofline
复现 Step-3 Figure 5：把 attention 计算量与 KV 访存量放到硬件 computation-bandwidth roofline 上判断瓶颈匹配。
hardwareRooflineInformation grammar
它如何组织信息
compute-memory 坐标 + 多硬件 roofline 射线 + 8K→32K 模型轨迹 + 端点直标
- Visual system
- VS-76 Step-3 hardware roofline
- Component ID
step3-hardware-roofline
Use when
适用判断
适合硬件感知 attention 设计；必须使用相同精度、batch 和 context 定义估算 compute 与访存。
Figure-level evidence
Figure 5 · PDF p.8
DSv3、Qwen3 MoE、Step-3 的 8K-32K 轨迹与 H800/H20/A800/910B roofline。
- Verified
- 2026-07-13
- Paper source
- Step-3 Technical Report
Structured data
可替换的数据模型
示意数据，仅复现信息结构，不代表最新榜单结果。
{
"hardware": [
{
"label": "H800",
"compute": 620
},
{
"label": "910B",
"compute": 520
},
{
"label": "A800",
"compute": 430
},
{
"label": "H20",
"compute": 250
}
],
"models": [
{
"label": "DSv3",
"points": [
[
0.25,
145
],
[
1.15,
590
]
]
},
{
"label": "Qwen3 MoE",
"points": [
[
0.55,
25
],
[
3.15,
100
]
]
},
{
"label": "Step-3",
"points": [
[
0.2,
30
],
[
1,
130
]
]
}
]
}Related components