联邦学习
机器学习系统
隐私
深入理解横向联邦学习：FedAvg、系统约束与隐私边界
横向联邦学习不只是把分布式训练搬到手机上：本文从 FedAvg 出发，讨论 non-IID、设备异构、通信成本、梯度泄露与安全聚合。
2022-08-228 min
Blog
关于 Agent、LLM 工程与产品化实践的文章。部分深度内容仅会员可读。
横向联邦学习不只是把分布式训练搬到手机上：本文从 FedAvg 出发，讨论 non-IID、设备异构、通信成本、梯度泄露与安全聚合。
从小模型为什么要学习教师输出讲起，推导温度 softmax、软硬目标组合损失与 T² 缩放，再讨论蒸馏真正传递了什么、适用边界和常见误解。