一文读懂蒸馏技术、暗知识。大神辛顿 Hinton 的神作，给中国打开了条路（人话解读论文）
用昆虫幼虫与成虫比喻训练与部署两阶段，引入温度 T 控制软目标平滑度；证明高温下蒸馏退化为直接匹配 logits。
文字如何变成向量？向量如何代表语义？向量怎么算出来的？Word2Vec 这篇论文都说清了
论文提出 CBOW 与 Skip-gram 两种高效词向量模型，可在不到一天内从 16 亿单词数据集学习高质量词向量；向量运算可捕捉语法与语义关系，如 King-Man+Woman 接近 Queen。
用昆虫幼虫与成虫比喻训练与部署两阶段，引入温度 T 控制软目标平滑度；证明高温下蒸馏退化为直接匹配 logits。
论文提出 CBOW 与 Skip-gram 两种高效词向量模型，可在不到一天内从 16 亿单词数据集学习高质量词向量；向量运算可捕捉语法与语义关系，如 King-Man+Woman 接近 Queen。