Logistic回归中的Logit函数和sigmoid函数

2023-05-16

在线性回归中,y=w^{T}x,是用直线去拟合数据,实现最小二乘意义下的最小预测误差。

在逻辑回归中:logit(p)=log(\frac{p}{1-p})=w^{T}x,可以看作是用直线去拟合Logit函数,通过极大似然估计出参数,使得在该参数下,能以最大概率生成当前的样本。

这里要说明的是,线性回归解决的是回归问题,而逻辑回归是分类问题,但两者的形式非常的相似,上面两式的右边也是一致的。

Logistic回归通过对数据分类边界的拟合来实现分类。而这条数据分类边界即为直线,这也是它为什么可以被看作是一个广义线性模型的原因

在线性回归中,回归的因变量y是连续的,没有明确的上下限,因此可以用线性模型来拟合。而逻辑回归应用于分类时,因变量,也就是类别y只有0和1,满足二项分布,这是连续的线性模型无法拟合的。因此,需要选择最佳的连接函数,它就是Logit函数。

这里给出Logit函数的图像(来自维基百科):

这里写图片描述

可以看出Logit函数能把自变量从(0,1)连续单调地映射到正负无穷,这里类别y的0和1值分别对应(0,0.5)和(0.5,1)的概率值p。

另外,把wTxwTx看作一个整体,反解出p,就会看到我们熟悉的sigmoid函数

p=\frac{1}{1+e^{^{-w^{T}x}}}=sigmoid(w^{T}x)

这里的sigmoid函数有非线性化和限幅的作用,限制在(0,1)之间,才能够用于分类。

总结:

Logistic回归是对特征(feature)做加权相加后,输入给Sigmoid函数,用Sigmoid函数的输出来确定二分类的结果。

其中的logistic就是sigmoid函数,因为它也叫logistic函数。它与logit函数互为反函数。

其中的回归在这里的含义可以理解为最佳拟合,表示要找到最佳拟合参数集用于对特征加权。训练分类器就是用最优化方法去寻找最佳拟合参数。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Logistic回归中的Logit函数和sigmoid函数 的相关文章

随机推荐