知识库

记录我在项目里用到、以及自己感兴趣去学的技术知识点，方便复习。

Agent 与 LLM 应用

Agent（智能体）

LLM Agent 的核心范式：规划、工具调用、记忆与多智能体协作。

强化学习与LLM训练

RL 与 LLM 训练（GRPO / Soft-Thinking）

GRPO 用组内相对奖励替代 critic；Soft-Thinking 在连续隐空间推理，SofT-GRPO 让两者结合可用策略梯度训练。

优化算法

ES 算法（Evolution Strategies）

零阶黑盒优化方法，用采样扰动估计梯度方向，天然并行、不需要反向传播。

Muon 优化器

用 Newton-Schulz 迭代对动量矩阵做正交化的二维参数优化器，用于加速 Transformer 训练。

模型融合

模型融合（Model Merging）

不训练、直接在参数空间合并多个模型，用 Task Arithmetic / TIES / DARE 等方法解决参数冲突。

持续学习

持续学习（Continual Learning / LoRA Subtraction）

顺序学习新任务同时避免灾难性遗忘；LoRA Subtraction 通过构造漂移抵抗子空间保护旧任务性能。