这篇文章研究的是 Apple 设备端听写（Dictation）系统中音频 tokenizer 的压缩问题。这套系统完全在设备上运行，语音先经过 tokenizer 编码成语言模型能读取的表示，再交给稀疏激活的基础模型处理。由于模型只保留少部分专家在 DRAM 中，常驻的 tokenizer 会和模型争抢内存，因此 tokenizer 的参数量直接关系到功耗和延迟。

作者提出的压缩方法是 latent-space distillation，即让 student encoder 回归 teacher 模型的 per-frame latent，而不是去拟合离散 token 或输出分布。这里的监督目标是预量化器（pre-quantizer）的 latent，也就是两种 token 接口共享的最后一层表示。student 只需要在平方误差目标下回归 teacher 的 latent，并用一个仿射层来对齐 teacher 与 student 的宽度差异。由于目标先于量化器和语言模型桥接层，同一套方法可以覆盖两种 token 接口，也适用于单独预训练的 tokenizer 和与语言模型联合训练的 tokenizer。

关键结果：在 2.8× 压缩率下，六组 teacher–student 配对中有五组的蒸馏 student 在无需微调的情况下，相对 WER 与 teacher 差距不超过 1.9%；相比同等容量的独立训练 tokenizer，蒸馏 student 相对 WER 改善 3.9%。

文章没有提供完整实验细节和失败案例，但核心结论清晰：在压缩流式音频编码器时，选择 pre-quantizer latent 作为蒸馏目标，比直接拟合 token 或输出分布更有效。