1D有序分词让图像生成模型在推理时也能做搜索

自回归图像生成模型虽然好用，但一直有个尴尬的问题：你想中途引导它往某个方向画，比如改个颜色、加个物体，但因为它生成的 token 是2D网格结构（像拼图），中间状态根本没什么语义，验证器不知道好坏，所以没法做 test-time search。这等于放弃了推理时用算力换质量这条路线。这篇文章直指这个痛点：token 的结构决定了模型能不能被有效引导。

解法其实很聪明。作者的核心发现是，使用1D有序 tokenizer（比如 TiTok 这种从粗到细排列的设计），中间状态天然携带了语义信息。比如生成到一半时，那个 token 序列已经能大致看出是只猫了，验证器可以判断“像不像猫”，从而引导后续生成。文章通过控制变量实验证明，基于有序 token 的 AR 模型在 beam search、lookahead 等搜索算法上的 test-time scaling 特性显著优于网格结构。更激进的是，他们甚至不需要训练 AR 模型，直接用搜索算法+图片文本验证器就能做无训练的 text-to-image 生成。

作为工作在一线的技术人员，我觉得这篇的价值不仅在发了一篇 paper。它点出了一个非常实用的工程洞察：自回归模型的推理时可操控性，大概率不是模型有多大，而是数据怎么被分词。对于想把 AR 模型应用到需要可控生成的场景（比如游戏资产生成、设计草图迭代）的团队，这篇文章直接给出了一个投入产出比很高的方向——换一个 tokenizer，而不是堆更大的模型。这比卷参数量实在多了。