Google Cloud 发布了一篇关于 Gemini 模型定制化微调的最佳实践指南，核心是介绍其托管的 RLFT 服务（Reinforcement Learning Fine-tuning service）。传统强化学习需要大规模训练集群和模型内部访问权限，外部客户无法对 Gemini 这样的闭源模型直接操作。Google Cloud 将整个过程包装成托管服务：你只需要提供提示词和奖励函数，基础设施和模型内部细节由平台处理。

RLFT 的本质是从你定义的奖励信号中学习，而不是从固定的标注答案中学习。你不需要写大量完美示例，只需写一个程序来给响应打分，服务就会针对这个分数持续改进模型。这特别适合一类 SFT 难以处理的问题：难以展示、但容易验证的任务。比如你无法为每个 schema 手写理想 SQL，但你可以运行查询并检查结果是否正确。

原文明确列出 RLFT 的三个核心特性：它从模型自身输出中学习，倾向于减少对无关能力的干扰；它奖励结果而非路径，适合有多种正确解的任务；它放大已有能力，无法教会模型从未展示过的技能。因此，使用前提是基础模型已经有一定成功率，奖励函数才能区分好坏响应。

在适用条件上，指南强调：先用 prompting 和 SFT 解决大多数适配问题，RLFT 应该在你能打分但无法低成本写出答案、SFT 在关键指标上停滞、或任务有多种有效答案时使用。SFT 与 RLFT 是互补的：当基础模型已有部分成功时直接 RLFT；当 SFT 数据充足或基础成功率过低时，采用 SFT → RLFT 两阶段方案，用轻量 SFT 做热身，再通过 Continuous Tuning 从 SFT 检查点继续 RL。

指南给出了五个实际用例。游戏 NPC：用 Gemini 作为裁判模型，对每轮对话的人物一致性、流畅性和游戏状态语法打分，结果显示循环重复和语言漂移消失，状态语法得以保持，可规模化落地。实体抽取：规则化的 precision/recall 奖励强制每个字段来自源文本，在噪声很大的真实文档上提升了字段级准确率，将人工审核变为自动化。内容审核：用 Cloud Run 结合格式校验和确定性评分器，模型能够处理复杂豁免条款，显著降低误报并停止奖励攻击，减少人工升级量。代码执行评估：在安全沙箱中运行 SQL 或 API 调用，只有编译、执行且返回正确结果才给分，模型产出的首次即可执行查询达到接近前沿模型的水平，推理成本更低，使非技术用户能用自然语言查询专有数据。演示文稿生成：用代码执行奖励渲染 HTML/CSS 幻灯片，根据视觉设计、布局完整性、结构完整性和评分标准打分，模型生成的幻灯片主题统一、无布局溢出。

起步建议很简单：先准备一个多样化的提示词数据集，并保留验证集；奖励函数是质量的主要决定因素，好奖励应与人类偏好相关、对格式错误的输出有鲁棒性（解析失败时返回明确负分而不是崩溃）、并能抵抗奖励攻击（使用多评委集成、惩罚过长输出、限制退化输出、优先用可验证的检查而非模型意见）。上线前先离线验证奖励函数。其余交给服务，从默认参数开始，在控制台观察奖励和评估曲线，在验证奖励饱和的检查点停止，而不是最后一轮。