Huajishe Notes

2-指标选择与误差分析

18 min read

2-指标选择与误差分析

一个核心观点

指标不是分数，是决策工具。

一个指标的价值不在于它有多”高”，而在于它能否帮助你做出正确的研究决策：

  • 判断哪个模型更好
  • 定位模型的弱点
  • 决定下一步该改进什么

用错指标，比没有指标更危险。一个只在准确率上最优的模型，可能在其他所有业务维度上都是有害的。

一、指标体系

1.1 分类指标

Accuracy

所有样本中预测正确的比例。最直觉，但最容易被滥用。

Precision、Recall、F1

Precision（精确率）：预测为正的样本中，真正为正的比例。

Recall（召回率）：所有正样本中，被正确找回来的比例。

F1：两者的调和平均。

关系与权衡：Precision 和 Recall 往往是一对矛盾。当我们把阈值调高时，Precision 上升但 Recall 下降；阈值调低则相反。F1 是两者的平衡点，但平衡点本身也是可以选择的——这取决于”误报”和”漏报”的代价哪个更严重。

AUC

AUC（Area Under the ROC Curve）衡量的是：随机抽取一个正样本和一个负样本，正样本的得分高于负样本的概率。

直观含义：AUC = 0.9 意味着随机挑一个正样本和负样本，模型有 90% 的把握把正样本排在前面。

为什么 AUC 比 Accuracy 更常用：

  • AUC 只关心排序，不关心阈值选取
  • 对类别不平衡不敏感（不随阈值变化）
  • 可以理解为”模型区分能力”的度量

AUC 的取值范围是 [0, 1]，0.5 表示随机，1 表示完美。

1.2 回归指标

MSE、MAE、RMSE

MSE（均方误差）：

MAE（平均绝对误差）：

RMSE（均方根误差）：MSE 的平方根，与原值同量纲。

MSE vs MAE：MSE 对大误差的惩罚更重（平方项），但对异常值更敏感。MAE 对所有误差一视同仁，更鲁棒。从优化角度看，MSE 有解析解，MAE 需要次梯度。实践中可以先看 RMSE 定位大错误，再看 MAE 看整体偏差。

R²

R² 表示模型解释了多少目标变量的方差。1 是完美，0 是恒预测均值。负值表示模型比均值预测还差。

1.3 生成模型指标

Perplexity（困惑度）

语言模型的核心指标：

等价于交叉熵损失的指数形式。直观理解：perplexity = k 表示模型在每个位置”等效于从 k 个词中做均匀选择”。越低越好。

注意：Perplexity 只衡量建模能力，不衡量生成质量。一个低 perplexity 的模型可能生成重复或不通顺的文本，因为它只优化”预测准确”，不优化”生成多样”。

BLEU、ROUGE、CIDEr（位置说明）

这三个指标主要用于文本生成质量评估，简要定位如下：

  • BLEU：n-gram 精确率导向，衡量生成文本与参考文本的词汇重叠。适合机器翻译。位置：生成 vs 参考的精确率匹配。
  • ROUGE：n-gram 召回率导向，衡量参考文本中有多少被生成文本覆盖。适合文本摘要。位置：生成文本对参考文本的召回。
  • CIDEr：TF-IDF 加权的 n-gram 相似度，专门为图像描述设计。位置：生成描述与参考描述的语义一致性。

重要警告：这三个指标都是”表面重叠”的度量，与人类判断的相关性有限。详见后文”指标好但人看着差”一节。

1.4 排序与检索指标

Recall@K

在前 K 个结果中，包含相关文档的比例。

适合”找到多少算多少”的场景，如推荐系统。

MRR（Mean Reciprocal Rank）

第一个相关结果的位置的倒数平均值。

适合”第一条命中就够了”的场景，如问答系统。

NDCG（Normalized Discounted Cumulative Gain）

衡量排序质量，同时考虑相关性和位置。

其中 ，IDCG 是完美排序的 DCG。

关键直觉：位置越靠前，相关文档的贡献衰减越慢（对数衰减）。第 1 位的文档比第 2 位重要，但第 10 位和第 11 位的差距几乎可以忽略。

二、指标与业务目标

2.1 类别不平衡：为何不能只看 Accuracy

假设正类比例只有 1%。一个”永远预测负”的模型，Accuracy = 99%。但它完全没有检测正类的能力。

当类别严重不平衡时：

  • Accuracy 变成了”负类 recall”的伪装
  • Precision 和 Recall 的其中之一会被严重压低
  • 应该同时报告 Precision、Recall、F1（或 AUC），而不是任何一个单一指标

处理不平衡的常用策略：

  • 用 AUC 评估（对阈值不敏感）
  • 用 Macro-F1（每个类 F1 的平均，不受类别大小影响）
  • 汇报 PR-AUC 而非 ROC-AUC（PR-Auc 在极端不平衡下更敏感）

2.2 指标与业务目标不一致

训练目标（损失函数）、评测指标、业务目标往往三者不同。

例子：用交叉熵训练一个推荐模型，评测用 AUC，上线后业务关心的是”用户次日留存”。

链条断裂在哪里：

  1. 训练目标 → 优化单点预测的似然
  2. 评测指标 → 衡量排序能力，但假设所有错误代价相同
  3. 业务目标 → 用户留存，取决于多样性、新颖性、惊喜性

如何处理：

  • 明确标注三个目标的差异
  • 在实验报告中同时汇报所有相关指标
  • 如果指标 A 和指标 B 出现矛盾，用业务目标做最终裁决
  • 考虑设计加权指标或自定义指标来桥接训练和业务目标

三、“指标好但人看着差”的理解

这是生成模型评估中最常见的陷阱。

3.1 指标与人类判断为何脱节

表面重叠不等于语义一致：

  • BLEU 高分可能是因为生成了大量常见词（如”的”、“是”），即使句子没有实际意义
  • 一个语法正确但回答错误的答案，BLEU 可能很高
  • ROUGE 追求参考覆盖，但”同义不同词”的表达会被惩罚

指标鼓励的是”安全输出”：

  • 模型发现重复高频短语能提高 BLEU，就倾向于重复
  • 精度的追求导致模型输出保守、泛化、回避风险

多样性被惩罚：

  • 如果参考只有一个，模型给出另一个同样正确的答案，指标反而很低

3.2 如何理解这种脱节

  1. 把指标当作”下限检查”：指标差一定差，指标好不一定是好
  2. 把人工评估当作”上限确认”：人在回路评估是不可替代的
  3. 用指标组合交叉验证：同时看 BLEU、ROUGE 和人工评估，降低单一指标的偏差风险
  4. 拆解指标失败的模式：高/低分别是什么类型的错误，帮助定位问题

四、误差分析流程

4.1 分桶分析

误差分析的第一步是把错误分类聚合，发现规律。

按类别分桶

  • 每个类别分别统计 Precision/Recall/F1
  • 找出 Recall 最低的类别 → 模型最不擅长检测哪类样本
  • 注意：小样本类别的指标本身方差大，要谨慎解读

按长度分桶

  • 短文本（< 10词）、中文本、长文本分别统计
  • 回归：按目标值的数量级分桶
  • 发现：模型是否在极端长度/数值上更差

按难度分桶

  • 数据集如果有标注难度评级，按难度分层分析
  • 或者用模型confidence做代理：低confidence样本 ≈ 难样本
  • 对比：低confidence样本的错误率是否显著更高

按来源/场景分桶

  • 训练集 vs 验证集 vs 测试集：是否有分布漂移
  • 按数据来源（不同采集渠道、不同时间、不同语言）分桶
  • 跨场景泛化能力：某些子场景是否系统性更差

按预测 confidence 分桶

  • 将样本按模型输出的概率排序
  • 按 confidence 从低到高分成 10 个桶
  • 画出”每个桶的实际错误率”曲线
  • 如果 curve 是阶跃函数：模型confidence校准差，需要改进后处理
  • 如果 curve 是平缓曲线：模型整体缺乏判别力

4.2 错误归因

分析完错误分布后，需要归因到根因。

数据问题

  • 标注错误：标注质量差，模型学到了错误标签
  • 噪声数据：输入本身有缺失、错误、格式不规范
  • 分布偏移：测试集和训练集分布不同
  • 泄露：特征中包含了目标信息，导致模型”作弊”

诊断：在人工抽检错误样本，判断是否有人为可见的错误。

目标问题

  • 任务定义不当：给的目标和想优化的不一致
  • 损失函数不匹配：用了 MSE 但实际关心的是百分位误差
  • 多目标冲突：同时优化多个目标但没有显式处理冲突

诊断：重新审视任务定义和损失函数，是否和业务目标对齐。

模型结构问题

  • 表达力不足：模型太简单，学不到数据中的模式
  • 归纳偏置不对：模型架构不适合当前任务（如用纯 MLP 处理序列）
  • 位置编码不匹配：序列长度超过训练时的最大长度

诊断：增加模型容量或更换架构后是否有显著提升。

优化问题

  • 训练不足：欠拟合，验证 loss 还在下降
  • 过度训练：过拟合，验证 loss 上升但还在继续训练
  • 局部最优：某些子人群上的性能特别差，可能陷入了局部最优
  • 学习率/正则化不当：导致某些维度训练不充分

诊断：看训练曲线，检查是否在正确的epoch停的。

4.3 误差分析反馈到迭代

分析的目的是改进。把结论落实到位。

误差特征可能原因改进方向
某类 Recall 低模型对该类特征不敏感数据增强、代价敏感学习、该类过采样
长文本系统性差位置编码问题或上下文窗口不足改进位置编码、降低长度的复杂度
小样本类指标波动大评估方差大、训练不充分交叉验证、增加小样本数据、迁移学习
分布偏移明显数据采集偏差领域自适应、数据增强、测试时适应
高 confidence 低 accuracy模型overconfidenceLabel smoothing、置信度校准、集成

建立反馈闭环：

  1. 误差分析 → 找到首要问题
  2. 提出假设和改动方向
  3. 做控制变量实验验证
  4. 用同样的指标体系评估改进效果
  5. 回到第1步

五、附录

5.1 模型诊断 Checklist

数据层面

  • 检查标签是否有明显错误（随机抽100条人工核对）
  • 检查训练/验证/测试集分布是否一致（特征分布、标签分布）
  • 检查是否有特征泄露（某个特征和标签高度相关但不应该是输入）
  • 检查样本量是否足够（尤其是小样本类）

指标层面

  • 同时汇报 Accuracy、Precision、Recall、F1（或按需调整）
  • 类别不平衡时报告 Macro-F1 或 AUC
  • 生成任务同时报告自动指标和人工评估
  • 明确说明指标与业务目标的对应关系

模型层面

  • 训练曲线：验证 loss 是否在正确 epoch 停止（early stopping）
  • 检查模型在训练集上的表现（排除欠拟合）
  • 按 confidence 分桶，检查模型校准性
  • 对比不同随机种子，排除随机性影响

实验层面

  • 控制变量：每次只改一个因素
  • 多次实验取平均，报告方差或置信区间
  • 确认测试集未参与训练和验证过程

5.2 任务与指标映射表

任务类型主要指标辅助指标人工评估必要性
二分类AUC、AccuracyPrecision/Recall/F1低（指标较可靠）
多分类Accuracy、Macro-F1Per-class Recall中
回归RMSE、MAER²、MAE低
排序/检索NDCG、MRRRecall@K、AUC中
机器翻译BLEUchrF、人工评估高
文本摘要ROUGE人工评估（流畅性、一致性）高
图像描述CIDErSPICE、人工评估高
对话生成Perplexity + 人工BLEU（慎用）高
问答EM、F1MRR、Recall@K中
推荐AUC、NDCGCTR、Recall@K中

原则：

  • 越接近”表面匹配”的任务（翻译、摘要、描述），越需要人工评估
  • 越接近”结构化预测”的任务（分类、排序），自动指标越可靠
  • 生成任务永远需要人工评估作为上限确认

结语

指标的选择是一个研究设计问题，不是技术问题。在开始实验之前就想清楚用什么指标、为什么用这个指标，比做完实验再挑指标要有意义得多。

记住三条原则：

  1. 指标驱动决策：用哪个指标，就相信哪个指标代表的优化方向
  2. 组合指标避免盲区：单一指标一定有你没看到的死角
  3. 人工评估是最后防线：自动指标再好，也不能替代人类判断

Graph View