逻辑回归(用于解决分类问题的一种模型,核心:找到决策边界)
根据数据的特征或者属性,计算出其归属于某一类别的概率
P
(
x
)
P(x)
P(x),根据概率数值判断其所属的类别。主要应用场景:二分类问题。
单变量逻辑回归:
数学表达式:(sigmoid方程)
P
(
x
)
=
1
1
+
e
−
x
P(x)=\frac{1}{1+e^{-x}}
P(x)=1+e−x1
y
=
{
1
,
P(x)
≥
0.5
0
,
P(x) < 0.5
y = \begin{cases} 1, & \text {P(x) ${\geq}$ 0.5}\\ 0, & \text {P(x) < 0.5} \end{cases}
y={1,0,P(x) ≥ 0.5P(x) < 0.5
其中,
y
y
y为类别结果,
P
P
P为概率分布函数,
x
x
x为特征值。
多变量逻辑回归:
数学表达式:
P
(
x
)
=
1
1
+
e
−
g
(
x
)
P(x)=\frac{1}{1+e^{-g(x)}}
P(x)=1+e−g(x)1
g
(
x
)
=
θ
0
+
θ
1
x
1
+
.
.
.
g(x)=\theta_0 + \theta_1 x_1+...
g(x)=θ0+θ1x1+...
逻辑回归求解:
逻辑回归求解,最小化损失函数
(
J
)
(J)
(J):
J
i
=
{
−
l
o
g
(
P
(
x
i
)
)
,
if
y
i
=1
−
l
o
g
(
1
−
P
(
x
i
)
)
,
if
y
i
=0
J_i = \begin{cases} -log(P(x_i)), & \text{if ${y_i}$ =1} \\ -log(1-P(x_i)), & \text{if ${y_i}$ =0} \end{cases}
Ji={−log(P(xi)),−log(1−P(xi)),if yi =1if yi =0
J
=
1
m
∑
i
=
1
m
J
i
=
−
1
m
[
∑
i
=
1
m
(
y
i
l
o
g
(
P
(
x
i
)
)
+
(
1
−
y
i
)
l
o
g
(
1
−
P
(
x
i
)
)
)
]
J=\frac{1}{m}\sum_{i=1}^{m}{J_i} =-\frac{1}{m}[\sum_{i=1}^{m}{(y_ilog(P(x_i))+(1-y_i)log(1-P(x_i)))}]
J=m1i=1∑mJi=−m1[i=1∑m(yilog(P(xi))+(1−yi)log(1−P(xi)))]
P
(
x
)
=
1
1
+
e
−
g
(
x
)
P(x)=\frac{1}{1+e^{-g(x)}}
P(x)=1+e−g(x)1
g
(
x
)
=
θ
0
+
θ
1
x
1
+
.
.
.
g(x)=\theta_0 + \theta_1 x_1+...
g(x)=θ0+θ1x1+...
最小化损失函数,即:
m
i
n
(
J
(
θ
)
)
min(J(\theta))
min(J(θ))
优化模型:
评估模型表现:
1、准确率(类别正确预测的比例):(越接近1越好)
A
c
c
u
r
a
c
y
=
正确预测样本的数量
总样本的数量
Accuracy = \frac{正确预测样本的数量}{总样本的数量}
Accuracy=总样本的数量正确预测样本的数量
2、画图看决策边界效果,可视化模型表现:
plt.plot(x1,x2_boundary)
passed = plt.scatter(x1[mask],x2[mask])
failed = plt.scatter(x1[~mask],x2[~mask],maker='^')
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)