大语言模型用于机器翻译质量标注：人类与模型均面临挑战
LLM 正被看作比人工更高效、更便宜的机器翻译质量评估方案，但 MT 评估覆盖大量语言对、领域和标注粒度，能否真正替代人类需要分维度检验。本文用两种主流方案——MQM（多维质量指标）和 ESA（错误跨度标注）——比较 LLM 与人类标注者的一致性。实验覆盖 70 个语言对 的长上下文测试集，以及公开的 WMT23 和 WMT25 数据，分别考察分数一致性和错误跨度标注一致性。
结果显示一个反直觉现象：在某些评估任务上，LLM 与人类标注者的一致性甚至高于人类标注者之间的一致性。但这不意味着 LLM 已经可靠：一致性水平在不同标注方案、语言对和领域之间波动很大，大多数设置下仍不可靠。
研究还分别点出了人类和 LLM 的具体短板。人类标注者在细粒度 MQM 标注和低资源语言对上更容易犯错；LLM 则对轻微错误、错误语言变体和错误跨度标注识别不好。研究指出，改善方向可能是人类-LLM 协作标注流程，针对这些可靠性瓶颈加以改进。
