二维分类问题是一个经典的机器学习问题，感知机算法(Perception Approach)是解决该问题的经典算法之一。虽然其本身是一类简单的线性判别算法，但是通过扩展又可以与许多其他算法密切相关。因此感知机算法尽管很少单独使用，但它对于理解其他模型和算法非常有用，是建立知识体系的一个枢纽。
当一个点被误分类位于分类超平面错误一侧时，则调整w，b的值，使分类超平面向该误分类点的一侧移动，以减少该误分类点与超平面之间的距离，直至分类超平面越过该误分类点使其被正确分类。
梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（梯度的方向）变化最快，变化率最大（为该梯度的模）。
在机器学习算法中，有时候需要对原始的模型构建损失函数，然后通过优化算法对损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小，其中使用较多的就是基于梯度下降的优化算法(Gradient Descent, GD)，而在梯度下降算法中随机梯度下降法(Stochastic Gradient Descent, SGD)应用较为广泛，它采用单个训练样本的损失来近似平均损失，每次只随机抽取一条数据来做梯度下降，接近全局最优，大大减小了计算消耗。
随机梯度下降法的求解过程可以概括如下：
1-随机一个初始值,在多元线性回归中，我们随机一组 ,带入到损失函数中,得到一个初始点。
2-让这个点按照负梯度的方向运动，更新参数
