LLM 评估器并非客观。认为“人类主观，所以 AI 更客观”是一种常见误解。实际上，LLM 法官和人类评审一样带有偏见：例如它倾向于给更长、更自信的答案高分，哪怕事实有误；交换两个选项的顺序，可能在 超过 75% 的情况下翻转判决；逐字生成时，整洁的语法和排版会掩盖错误，形成光环效应；对于错误输出，LLM 法官漏检率可高达 75%；还会系统性高估自己或同族模型生成的输出。

因此，不能把 LLM 法官当成不需要检验的可靠工具。文章给出三个审计支柱。

第一，测量内部稳定性。LLM 是概率模型，对完全相同的内容可能给出不同分数。做法是对单一输出做多轮一致性检查并计算方差。分数波动大，说明评估标准太模糊。

第二，验证与人类专家的一致性。当评估数据集中大多数是有效回答时，宽松的 AI 法官可能在整体上与人类评审很接近，却漏掉大量无效或不安全输出。需要用机会校正指标，过滤掉因宽松或随机巧合产生的表面一致，才能看出评估器是否真的对齐了专家判断。

第三，使用多法官集成。为避免光环效应，可采用分解式提示：不再让一个 LLM 法官给整段回复打分，而是为事实准确性、语气等单一标准分配专门的评估器。此外，实时跟踪评估性能的既定最佳实践是集成：用至少两个不同模型同时评估同一输出，通过统计共识发现评分分歧，防止质量退化。

文章末尾还提到，可以与 Delta 合作，为企业 Agent 系统设计实施经过统计审计的评估流水线。