文章目录
- 神经网络的训练
-
- Epoch
- batchsize
- iterations
神经网络的训练
梯度下降法
学习率： 步长更大= 学习率更高
误差函数不断减小。
如果训练数据过多， 无法一次性将所有数据送入计算。
现将数据分成几个部分： batch
分多个 batch , 逐一送入计算训练
Epoch
一个epoch , 表示： 所有的数据送入网络中， 完成了一次前向计算 + 反向传播的过程。
由于一个epoch 常常太大， 分成 几个小的 baches .
将所有数据迭代训练一次是不够的， 需要反复多次才能拟合、收敛。
在实际训练时、 将所有数据分成多个batch ， 每次送入一部分数据。
使用单个epoch 更新权重 不够。
随着epoch 数量的增加， 权重更新迭代的次数增多， 曲线从最开始的不拟合状态， 进入优化拟合状态， 最终进入过拟合。
epoch 如何设置： 大小与数据集的多样化程度有关， 多样化程度越强， epoch 越大。
batchsize
每个batch 中： 训练样本的数量。
batch size 大小的选择也很重要， 最优化网络模型的性能+速度。
当数据量较小， 计算机可以承载只有1个batch 的训练方式时， 收敛效果会好。
mini-batch : 将所有数据分为若干个batch , 每个batch 包含一部分训练样本。。
iterations
完成一次epoch 需要的batch 个数
batch numbers 就是 iterations .
分为了多少个batch? : 数据总数/ batch_size
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
