语言模型通信瓶颈:树结构表达式序列化的往返研究

语言模型在思维链或自由文本交换中间结果时,需要把树状的结构化信息压进自然语言。这个过程到底会损失多少组合语义,之前的实证很少。这篇论文设计了一个“往返”(round-trip)协议来量化:先用生成器把程序化生成的算术表达式改写为文字题,再用一个独立的提取器仅凭文字题恢复原始表达式,最后用符号等价作为精确的判定标准。作者对16个模型做了全部成对组合,得到一个通信矩阵,并利用矩阵的边缘分布把生成质量和提取质量分离开。

三个主要发现。第一,这个通道是有损且不对称的。互换生成端和提取端的角色,准确率最多可相差 60.4个百分点;所有配对中的最佳组合达到 92.9%,而且这个组合是把不同模型放在两端,而不是让同一个模型既生成又提取。

第二,大多数错误发生在生成端。数据显示,至少 73.6% 的往返失败来源于生成阶段,而不是提取阶段。难度主要由树结构本身决定,比如操作符数量、树的深度、右分支结构,而不是由模型家族决定。

第三,这个通道是可训练的。用约 3600 个与评估共享操作符和树形状的微调样例,就能把所有开放权重模型都提升到未训练的 Gemini-3.1-Pro 之上,后者在匹配语义条件下是一个上界。作者还测试了不相交域:换成全新的操作符和词汇后,所有开放权重模型依然获得提升,说明收益不是“匹配语义”带来的假象,只是与前沿模型的差距仍然存在。

合起来看,树结构表达式的序列化是语言模型用自然语言传递层次结构时的一个主要限制因素。把哪些模型放在发送端、哪些放在接收端,会显著影响信息能否无损通过。

The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models

查看原文