一、概述
1、逻辑回归（Logistic Regression）算法是分类算法，而不是回归算法
2、决策边界：可以是非线性的（高阶）
二、sigmoid函数
1、定义：
g
(
z
)
=
1
1
+
e
−
z
g(z) = \frac{1}{1+e^{-z}}
g(z)=1+e−z1
2、自变量：任意实数；值域：[0, 1]
3、作用：将任意输入映射到[0, 1]区间
三、预测函数
1、预测函数：
h
θ
(
x
)
=
g
(
θ
T
x
)
=
1
1
+
e
−
θ
T
x
h_\theta (x)=g(\theta ^Tx)= \frac{1}{1+e^{ - {\theta ^ T}x}}
hθ(x)=g(θTx)=1+e−θTx1
2、二分类任务
-
p
(
y
=
1
∣
x
;
θ
)
=
h
θ
(
x
)
p(y=1|x;\theta)=h_\theta(x)
p(y=1∣x;θ)=hθ(x)
-
p
(
y
=
0
∣
x
;
θ
)
=
1
−
h
θ
(
x
)
p(y=0|x;\theta)=1-h_\theta(x)
p(y=0∣x;θ)=1−hθ(x)
3、整合：
p
(
y
∣
x
;
θ
)
=
(
h
θ
(
x
)
)
y
(
1
−
h
θ
(
x
)
)
1
−
y
p(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y}
p(y∣x;θ)=(hθ(x))y(1−hθ(x))1−y
四、似然函数
1、似然函数：
L
(
θ
)
=
∏
i
=
1
m
p
(
y
(
i
)
∣
x
(
i
)
;
θ
)
=
∏
i
=
1
m
(
h
θ
(
x
i
)
)
y
i
(
1
−
h
θ
(
x
i
)
)
1
−
y
i
\ L(\theta)=\prod\limits_{i = 1}^m p(y^{(i)}|x^{(i)};\theta) =\prod\limits_{i = 1}^m(h_\theta(x_i))^{y_i}(1-h_\theta(x_i))^{1-y_i}
L(θ)=i=1∏mp(y(i)∣x(i);θ)=i=1∏m(hθ(xi))yi(1−hθ(xi))1−yi
2、对数似然：
l
(
θ
)
=
∑
i
=
1
m
[
y
i
l
o
g
h
θ
(
x
i
)
+
(
1
−
y
i
)
l
o
g
(
1
−
h
θ
(
x
i
)
)
]
\ l(\theta)=\sum\limits_{i = 1}^m{[{y_i}logh_\theta(x_i)+(1-y_i)log(1-h_\theta(x_i))]}
l(θ)=i=1∑m[yiloghθ(xi)+(1−yi)log(1−hθ(xi))]
3、此时的方向是梯度上升的方向，因此
J
(
θ
)
=
−
1
m
l
(
θ
)
J(\theta)=-\frac{1}{m}l(\theta)
J(θ)=−m1l(θ)转换为梯度下降方向
五、参数更新
1、梯度方向：对
J
(
θ
)
J(\theta)
J(θ)求偏导，得
1
m
∑
i
=
1
m
[
h
θ
(
x
i
)
−
y
i
]
x
i
j
\frac{1}{m}\sum\limits_{i = 1}^m[h_\theta(x_i)-y_i]{x_i}^j
m1i=1∑m[hθ(xi)−yi]xij
2、参数更新：
θ
j
:
=
θ
j
−
α
1
m
∑
i
=
1
m
[
h
θ
(
x
i
)
−
y
i
]
x
i
j
\ \theta_j:=\theta_j-\alpha\frac{1}{m}\sum\limits_{i = 1}^m[h_\theta(x_i)-y_i]{x_i}^j
θj:=θj−αm1i=1∑m[hθ(xi)−yi]xij
六、总结
Logistic Regression就是将线性回归的预测值送入sigmoid函数，将预测值转换成概率，完成分类问题。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
