0. KV Cache
2. 1F1B
3. Interleaved 1F1B
1. GPipe:朴素流水线与 micro-batch
RL Chapter11 离线强化学习：BCQ、CQL、IQL 与 DPO 的渊源
RL Chapter10 探索：从 ε-greedy 到 Curiosity
RL Chapter13 RL × LLM 综述：PPO、DPO、GRPO 的统一视角
RL Chapter4 Q-Learning 与 SARSA：从评估到控制
RL Chapter5 Policy Gradient：直接对策略求梯度