吴恩达机器学习笔记系列（五）——梯度下降

一、gradient descent （梯度下降）

1、概念：

线性回归的目的就是找出使得误差（损失函数）最小的参数值。可以用梯度下降来确定 参数的大小。

梯度下降是一种迭代方法，能够求解局部最小值，结果与初始点的选取有关。为了找到最小值，从某一点开始，每次都往梯度下降最快的方向移动。如下图所示，当凹处不止一个时，选择不同初始点可能得到的结果差别很大。

---

2、更新规则：

对于线性回归的梯度下降的更新规则为：

其中j=0,1，“：=”表示“赋值”，例如a:=b表示把b的值赋给a； α α 是学习率（learning rate）；线性回归中参数 θ θ 只有两个值，在其他更复杂的回归中可能包含更多个参数，如下面的式子， θi θ i 表示第 i 个参数，也表示参数 θ θ 的第 i 个分量。

–

• 练习题：

注：
θ0=θ0+θ0θ1−−−−√=1+1×2−−−−√=1+2–√ θ 0 = θ 0 + θ 0 θ 1 = 1 + 1 × 2 = 1 + 2 ;

θ1=θ1+