梯度下降法不是一个机器学习算法，是一种基于搜索的最优化算法，目的是最小化一个损失函数，同样，梯度上升法用于最大化一个效用函数
求解损失函数的最小值有两种方法:
1.正规方程求解
上一章已经讲使用线性回归正规方程求解，即让
2.梯度下降法
但很多情况下对于更复杂的函数，我们的机器学习模型是求不到这样的数学解的，那么我们就需要一种基于搜索的最优化策略，来在一定程度上逼近这样的解，梯度下降法就是这样一种在机器学习中最小化损失函数的最为常用的方法
在曲线方程中，导数代表切线斜率，导数的方向就代表
我们的目标是使损失函数
我们希望根据学习率 一步一步的逼近
repeat until convergence {
}
梯度求得：
我们在第一章讲过，使用线性回归正规方程求解不需要对数据进行归一化
但是由于梯度下降法的最优化搜索原理，为了保证梯度下降法的稳定性，我们需要对数据归一化再使用梯度下降法
关于梯度下降法存在的问题
由于并不是所有函数都有唯一的极值点，我们使用梯度下降法进行搜索，有可能找到的只是局部最优解，而不是全局最优解
解决方法：
梯度下降：
正规方程：
上述求出的梯度的过程用到了所有的样本进行计算，这样的方法又称为
批量梯度下降法（Batch Gradient Desent）
repeat until convergence {
}
特点：
批量梯度下降法由于使用到所有的样本，很容易得到最优解，但是过程非常耗时的。
基于这样的问题，我们在求梯度的过程中是不是可以随机的取一个样本的梯度，作为我们收敛的方向，经过不断的迭代求得损失函数
随机梯度下降法（Stochastic Gradient Desent）
repeat until convergence {
}
特点：
随机梯度下降法具有不确定性，每次取一个样本来进行迭代，但不能保证求的梯度方向就是损失函数
鉴于随机梯度下降法的随机性，学习率
但如果我们的迭代次数太少，那么下降速度就会太快，于是我们引入常数
a,b是SGD的两个超参数
scikit-learn中linear_model的SGD代码示例
from Wall time: 0 ns
0.7784799948330545
sgd_reg Wall time: 14.1 ms
0.8004299348713204
那么，我们把上述两种梯度下降法的特点相结合呢？于是产生了
小批量梯度下降法（Mini-Batch Gradient Descent）
repeat until convergence {
}
特点：
小批量梯度下降法每次取一小部分k个样本来进行迭代，既能减少一定的时耗，又能保证一定的收敛方向稳定性。一般情况下，小批量梯度下降法比较的实用，当然三种方法还是要看实际的情况来使用。