生成模型
扩散模型
深度学习
扩散模型原理解析：从前向加噪到 DDPM 采样
从条件高斯分布出发推导 DDPM 的前向扩散、反向去噪与噪声预测目标，并补充 DDIM、CFG、潜空间扩散和 flow matching 的关系。
2023-01-297 min
Blog
关于 Agent、LLM 工程与产品化实践的文章。部分深度内容仅会员可读。
从条件高斯分布出发推导 DDPM 的前向扩散、反向去噪与噪声预测目标，并补充 DDIM、CFG、潜空间扩散和 flow matching 的关系。
用节点、边与全局属性统一描述图数据，再从 message、aggregation、update 三步推导 GNN，并比较 GCN、GraphSAGE、GAT 及常见失效模式。
从 Shared-Bottom 的负迁移问题出发，拆解 MMoE 的共享专家、任务门控与任务塔，说明它为何有效、没有解决什么，以及推荐系统落地时真正需要关注的工程问题。
从小模型为什么要学习教师输出讲起，推导温度 softmax、软硬目标组合损失与 T² 缩放，再讨论蒸馏真正传递了什么、适用边界和常见误解。