Benchmark Atlas

论文图表复现 · arXiv 论文

Context Length × Depth Surface

把长上下文评测同时展开为长度与 needle 深度两个维度,避免只报一个平均值。

longbenchlong-contextcontour
Needle retrieval · length and depth surface 把长上下文评测同时展开为长度与 needle 深度两个维度,避免只报一个平均值。 示意数据,仅复现信息结构,不代表最新榜单结果。 Needle retrieval · length and depth surface LongBench DEMO DATA 8k32k128k512k1m10%989794877630%989591826950%979488766170%969183695390%948878624480 iso60 isocontext length → · needle depth ↓
Illustrative demo data · renderer: contextContour

Information grammar

它如何组织信息

context-length × needle-depth 矩阵 + 双等值线 + 单元格读数

Visual system
VS-53 LongBench context contour field
Component ID
longbench-context-contour

Use when

适用判断

适合检索位置显著影响结果的长上下文评测。

Source lineage

LongBench

长上下文长度、深度与任务退化

Open formal source ↗

Structured data

可替换的数据模型

示意数据,仅复现信息结构,不代表最新榜单结果。

{
  "lengths": [
    "8k",
    "32k",
    "128k",
    "512k",
    "1m"
  ],
  "depths": [
    "10%",
    "30%",
    "50%",
    "70%",
    "90%"
  ],
  "values": [
    [
      98,
      97,
      94,
      87,
      76
    ],
    [
      98,
      95,
      91,
      82,
      69
    ],
    [
      97,
      94,
      88,
      76,
      61
    ],
    [
      96,
      91,
      83,
      69,
      53
    ],
    [
      94,
      88,
      78,
      62,
      44
    ]
  ]
}

Related components

同一图表家族的其他语法