Notes on AI systems

名师出高徒：深入理解知识蒸馏、温度与软目标

从小模型为什么要学习教师输出讲起，推导温度 softmax、软硬目标组合损失与 T² 缩放，再讨论蒸馏真正传递了什么、适用边界和常见误解。