Notes on AI systems

深入理解 TRPO 与 PPO：从信赖域约束到裁剪目标

从策略梯度的更新失稳出发，推导 TRPO 的 KL 信赖域、自然梯度近似和回溯线搜索，再解释 PPO-Clip 为何更简单却没有硬约束保证。