Benchmark Atlas

诊断与矩阵 · arXiv 论文

Safety Confusion Matrix

把安全分类的 TP、TN、FP、FN 与业务成本放在同一矩阵,而不是只给 accuracy。

confusion-matrixsafetyguardrail
Llama Guard decision audit 把安全分类的 TP、TN、FP、FN 与业务成本放在同一矩阵,而不是只给 accuracy。 示意数据,仅复现信息结构,不代表最新榜单结果。 Llama Guard decision audit Meta / Llama DEMO DATA PREDICTEDACTUALUnsafeUnsafeSafeSafe184correct16over-refusal27miss773correctn=1000 · false negative cost weighted ×3
Illustrative demo data · renderer: confusion

Information grammar

它如何组织信息

2×2 混淆矩阵 + 边际总量 + 错误成本标注

Visual system
VS-26 Safety field matrix
Component ID
llamaguard-confusion

Use when

适用判断

适合 guardrail 和拒答分类;必须明确哪个错误更昂贵。

Source lineage

Meta / Llama

缩放曲线、模型族比较与安全诊断

Open formal source ↗

Structured data

可替换的数据模型

示意数据,仅复现信息结构,不代表最新榜单结果。

{
  "labels": [
    "Unsafe",
    "Safe"
  ],
  "values": [
    [
      184,
      16
    ],
    [
      27,
      773
    ]
  ],
  "costs": [
    "miss",
    "over-refusal"
  ]
}

Related components

同一图表家族的其他语法