cs231n: How to Train a Neuron Network 如何训练神经网络

CS231N第六第七课时的一些笔记，如何训练神经网络是一个比较琐碎的事情，所以整理了一下，以后训练Neuron Network的时候可以看一下

1. Activation Functions
   
   1. ReLu（good）
      
      1. ELU
      2. leaky ReLu
      3. no saturated on +region
      4. converges much faster 差不多6倍的速度，因为梯度不会被杀死
      5. easy computation
      6. but half of the data will die
      7. 符合生物神经网络的概念
   2. tanh
      
      1. saturated -> kill gradient
   3. sigmoid
      
      1. 不要用这个，because it’s not zero centered
      2. 同时还有饱和、exp难以计算的问题
      3. gradient on w will be all negative or positive
   4. maxout
2. Data Preprocessing
   
   1. Mean/Normalization
      
      1. 如果不这么做的话，w轻轻一动就会无法分类
   2. Batch Normalization
      
      1. 每个layer添加一层normalization
      2. 最后再用y = gamma * xi + beta还原，提高其expressive的能力
3. Weight Initialization