损失
是一个数值,表示对样本而言模型预测的准确程度。
如果模型的预测完全正确,则损失为零,反之损失会很大。
训练模型的目标是从所有的样本当中,找到一组损失较小的权重与偏差。其“损失较小”的考量取决于具体需要
损失函数
L1损失:
基于模型预测的值与标签的实际值之差的绝对值
L2 损失:
平方损失
MSE均方误差
标签是我们要预测的真实事物:一般是函数的y,或者是f(x)
特征是指用于描述数据的输入变量:xi 线性回归中的{x1,x2,…,xn}变量
样本是指数据的特定实例:x
eg 样本数据如下
假设学习到的模型为 y = 2x,则L2损失为
正确的y为 2、4、6、8、10
L1 = 0、1、2、2、1
= 10
MSE = L2 / 5 = 2