
DiscoSign:语篇感知的文本到手语标注翻译

手语翻译研究长期停留在句子层面,忽略了语篇层面的关键现象。DiscoSign 提出一种基于语言学研究的语篇感知计算框架,把文本到美国手语(ASL)gloss 的翻译从单句扩展到语篇。gloss 是手语的书面转写形式,通常用大写英文词表示手语词素。
框架采用模块化 LLM 设计,针对三个语篇现象:空间共指消解(实体在语篇中保持稳定空间位置)、问答小句(QACs,起特定语篇功能的伪分裂结构)、概念与 gloss 一致性(英语概念与 ASL 手语之间的稳定映射)。作者认为,传统翻译指标无法衡量语篇层面的质量,因此设计了一套新的评估指标,分别对应框架所处理的语篇连贯性维度。
实验在句子级和语篇级数据集上进行。结果显示,相比仅做单句翻译,语篇感知处理显著提升了空间一致性和实体追踪能力,同时单句 gloss 翻译质量仍保持竞争力。作者称这是第一个系统的语篇级文本到手语 gloss 翻译框架及配套评估方法。
论文作者来自东北大学、加劳德特大学等机构,部分工作完成于 Apple。


