
GH-ESD:面向实例级视觉任务的假设驱动错误切片发现

视觉模型在特定语义子集上会系统性地出现失败(称为错误切片,error slices),但现有的切片发现方法主要针对图像级分类任务建模成表示空间聚类或预定义属性组合,无法适用于目标检测、分割等实例级任务。实例级错误往往来源于上下文关系和空间视觉模式。
本文提出 GH-ESD(Grounded Hypothesis-Driven Error Slice Discovery),将切片发现重构为基于假设生成与统计验证的框架。它利用 LLM 先验和空间视觉证据构建关系失败假设,通过 VLM 在实例级别发现假设切片,再对实例级错误进行统计趋势分析以验证切片。
同时,作者发布 GESD(Grounded Error Slice Dataset),这是一个新的实例级错误切片发现基准数据集,包含专家定义和空间关联的切片,这些切片源自检测和分割的失败案例。
实验结果显示,GH-ESD 在 GESD 基准的检测任务上 Precision@10 达到 0.73,相比基线方法的 0.63 提升了 0.10,并且同样适用于分割场景。该方法发现的切片具有可解释性,能够帮助进行有针对性的模型改进。


