本文是阅读Hinton 大神在2014年NIPS上一篇论文：蒸馏神经网络的笔记，特此说明。此文读起来很抽象，大篇的论述，鲜有公式和图表。但是鉴于和我的研究方向：神经网络的压缩十分相关，因此决定花气力好好理解一下。
1、Introduction
文章开篇用一个比喻来引入网络蒸馏：
昆虫作为幼虫时擅于从环境中汲取能量，但是成长为成虫后确是擅于其他方面，比如迁徙和繁殖等。
同理神经网络训练阶段从大量数据中获取网络模型，训练阶段可以利用大量的计算资源且不需要实时响应。然而到达使用阶段，神经网络
