定义 / 核心思想
大模型的强化学习后训练（RLHF / RLVR）一般流程是：模型对同一个 prompt 采样若干输出，用奖励模型或规则打分，再用策略梯度类算法（PPO、GRPO 等）更新模型参数，让高分输出的概率变高。
关键概念
- PPO：经典的策略梯度算法，需要额外训练一个和策略模型同等大小的 **critic（价值网络）**来估计 baseline，训练成本高、容易不稳定。
- GRPO（Group Relative Policy Optimization，DeepSeekMath 提出）：去掉 critic，对同一个 prompt 采样一组（group）输出，直接用组内奖励的均值/方差做归一化，作为每条输出的相对优势（advantage），大幅降低了训练开销。代价是：如果一组输出的奖励方差为 0（比如全对或全错），这一组就提供不了任何梯度信号。
- Soft Thinking：传统的 LLM 推理是离散地采样 token（每步都要“塌缩“成一个确定的词），Soft Thinking 让模型在多步推理的中间过程里，直接用**连续的隐藏状态/概率分布（soft token）**传递到下一步，而不是提前采样成离散 token，理论上保留了更多不确定性信息。
- SofT-GRPO（我参与的论文）：Soft Thinking 的推理过程是连续的，天然不适合标准策略梯度（策略梯度需要对“采样动作“的对数概率求导，而连续的 soft token 没有显式的采样-概率结构）。SofT-GRPO 用 Gumbel 重参数化把 soft-thinking 的采样过程变得可微、可重参数化，使其能够纳入 GRPO 这类策略优化框架训练，试图在“离散 token RL“之外提供一条可行的连续思考训练路径。
常见理解误区
- “SFT 只是记忆，RL 才能泛化“的说法过于绝对：更准确的说法是 SFT 容易过拟合到训练分布的表面模式，RL（尤其是可验证奖励的 RLVR）在分布外任务上往往泛化更好，但具体表现高度依赖任务类型和数据质量，不能一概而论。
- GRPO 的“组内相对优势“在奖励方差为 0 的组里完全没有梯度信号，训练时如果任务太简单（模型总是全对）或太难（模型总是全错），会出现大量“无效组“，需要在数据难度上做筛选/课程学习来缓解。
- Soft Thinking ≠ 让模型输出更长的思维链：它改变的是推理过程本身的表示形式（连续隐空间 vs 离散 token），和“想得更久/写得更多“是两个维度的事。
我在项目中的应用
在新加坡国立大学（NUS）科研实习期间，负责 Soft Thinking 方法中 overlap（推理重叠） 部分的开发，用于加快推理速度；同时参与论文校对与修改，作为第二作者完成了 SofT-GRPO 论文（arXiv:2511.06411）的完整科研流程。
TODO: 补充 overlap 部分具体是怎么加速推理的实现细节。
参考资料
- Shao et al., “DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models”（GRPO 出处）
- DeepSeek-R1 技术报告
- Zheng, Gu, Liu, Teh, Lee, “SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization”