Ettin Reranker系列发布:小体积高速重排序模型

如果你在做检索增强生成(RAG)或者搜索系统,reranker(重排序模型)是不可或缺的一环。它在快速检索之后做精细排序,能显著提升最终结果的质量。但通常强力的reranker体积庞大、速度慢得让人头疼。这篇文章解决了这个问题:作者发布了6个Ettin reranker,从17M到1B参数,在各自尺寸下都达到了最优性能,而且**速度比同级别的现有模型快1.7到8.3倍**。

核心技巧是用MSE蒸馏:让一个1.54B的强教师模型(mxbai-rerank-large-v2)去教这些小模型学习原始logits,而不是传统的二元标签。这种方法的优势在于:训练数据不需要人工标注,直接用教师的打分数据就行,而且能学到”程度”而不仅仅是”相关/不相关”。加上Sentence Transformers的unpadding机制和Flash Attention 2优化,最终效果是在H100上,17M模型跑到7517 pairs/秒,比MiniLM-L6还快近一倍。

发布了从17M到1B共6个尺寸的reranker,都基于Ettin ModernBERT编码器,在MTEB和NanoBEIR基准上全面超越MiniLM系列。其中32M击败了568M的bge-reranker-v2-m3,150M在600M以下最强,1B更是几乎追平比它大54%的教师模型。训练脚本只有150行,开源了143M条训练数据。如果你在用MiniLM reranker,换成17M或32M是个零风险的升级;如果需要最强性能,1B在保持质量的同时速度是教师的2.4倍。

Introducing the Ettin Reranker Family

查看原文