20201102 -
我记得我第一次接触一类学习的时候，是在一本讲解异常流量的书上。大概18年的时候，当时有一个需求，就是所处的场景下，只能拥有一类数据，而其他类的数据，要不获取不到，要不获取了也不具备什么代表性，总体上就是这么一个场景。由此接触到了一类学习，而一类学习中，比较著名的就是基于SVM的解决方法，关于SVM的讲解，可以看博客中另外一篇文章《支持向量机SVM的学习》，那么本篇文章就来具体讲讲一类SVM是一个什么套路。
本篇文章主要参考了两篇国外的博客来进行学习，分别是数学原理角度和代码角度，而且第二篇文章是从一类学习应对非均衡数据样本的情况的角度，下面开始。
该部分主要参考文章[1]，强烈建议读者阅读原文，跟着原作者的思路来学习。
一般来说，普通机器学习的方法都是针对二分类或者多分类，通过不同的模型，依赖于不同的方法，寻找类别之间的分界面，从而实现最终的分类效果。但是有时候，你只拥有一类数据，或者说其他类别的数据非常少（异常检测场景，或者说样本不均衡场景），此时如何来应对呢？当然非均衡样本数据场景下还有别的解决方案，那么针对只有一类数据的场景，怎么办，正如前面引言中所说，此时可以使用一类学习的方法。
需要注意的是，一类学习是指训练过程中，只有一类数据，通过算法寻求出可以代表这部分数据的模型，从而在检测过程中，输出数据样本是否属于该类别。
在文章[1]中，要具体学习一类SVM的话，需要SVM的知识，特别是目标函数最终的结果等内容。这里再简单记录一下。下面的公式是带有核函数的软边界SVM：
min
w
,
b
,
ξ
i
∥
w
∥
2
2
+
C
∑
i
=
1
n
ξ
i
subject to:
y
i
(
w
T
ϕ
(
x
i
)
+
b
)
≥
1
−
ξ
i
for all
i
=
1
,
.
.
.
,
n
ϕ
i
≥
0
for all
i
=
1
,
.
.
.
,
n
\mathop{\text {min}}\limits_{w,b,\xi_i} \frac{\|w\|^2}{2}+C\sum_{i=1}^{n}\xi_i \\ \text {subject to:} \\ y_i(w^T\phi(x_i)+b)\geq1-\xi_i\qquad \text{for all} \quad i=1,...,n \\ \phi_i\geq0 \qquad\text{for all} \quad i= 1,...,n
w,b,ξimin2∥w∥2+Ci=1∑nξisubject to:yi(wTϕ(xi)+b)≥1−ξifor alli=1,...,nϕi≥0for alli=1,...,n
通过拉格朗日算子来解决这个最小化问题，最终的决策函数为
f
(
x
)
=
sgn
(
∑
i
=
1
n
α
i
y
i
K
(
x
,
x
i
)
+
b
)
f(x)=\text{sgn}(\sum_{i=1}^{n}\alpha_i y_iK(x,x_i)+b)
f(x)=sgn(i=1∑nαiyiK(x,xi)+b)
第一种一类SVM的实现方法，通过将数据与原始空间的原点进行分开，同时最大化生成的超平面和原点的距离。此时的二次编程最小化问题变为了：
min
w
,
ξ
i
,
ρ
1
2
∥
w
∥
2
+
1
ν
n
∑
i
=
1
n
ξ
i
−
ρ
subject to:
(
w
⋅
ϕ
(
x
i
)
)
≥
ρ
−
ξ
i
for all
i
=
1
,
.
.
,
n
ξ
i
≥
0
for all
i
=
1
,
.
.
.
,
n
\mathop{\text {min}}\limits_{w,\xi_i,\rho}\frac{1}{2}\|w\|^2+\frac{1}{\nu n}\sum_{i=1}^{n}\xi_i-\rho \\ \text {subject to:} \\ (w\cdot \phi(x_i))\geq\rho-\xi_i \qquad \text{for all}\quad i =1,..,n \\ \xi_i\geq 0 \qquad\text{for all}\quad i = 1,...,n
w,ξi,ρmin21∥w∥2+νn1i=1∑nξi−ρsubject to:(w⋅ϕ(xi))≥ρ−ξifor alli=1,..,nξi≥0for alli=1,...,n
在原始的SVM计算过程中，
C
C
C负责控制平滑度，而在上述公式中，由
ν
\nu
ν来负责这个工作：
因此这种方法也被称为
ν
−
SVM
\nu-\text{SVM}
ν−SVM，不过我在很多论文中，看到他被称为OCSVM。在使用拉格朗四算子来解决这个问题的时候，得到的决策函数如下：
f
(
x
)
=
sgn
(
(
w
⋅
ϕ
(
x
i
)
)
−
ρ
)
=
sng
(
∑
i
=
1
n
α
i
K
(
x
,
x
i
)
−
ρ
)
f(x)=\text {sgn}((w\cdot\phi(x_i)) - \rho)=\text {sng}(\sum_{i=1}^{n}\alpha_i K(x,x_i)-\rho)
f(x)=sgn((w⋅ϕ(xi))−ρ)=sng(i=1∑nαiK(x,xi)−ρ)
还是那句话，这种方法是找到一个超平面，而这个超平面拥有着与原始空间中原点最远的距离。通过控制
ν
\nu
ν来调整异常点的比例。之前的时候，做实验的时候也调整过这部分内容，这个参数并不是那么容易调整。
另一种一类SVM的方法是创建一个能够包围全部数据的曲面，在三维空间中就是一个超球体，该方法全称叫做Support Vector Data Description(SVDD)，通过获取一个能够环绕数据的球形边界，最终训练目标是最小化这个超球体的体积，从而减少异常点被包围在内的数量。
那么，用数学原理来描述，就是要找到一个超球体，这个超球体通过两个参数控制：中心位置
a
\textbf a
a和半径
R
R
R，这个半径就是中心到在边界上支持向量的距离。类似前面原始的SVM，该方法通过所有的数据点到达中心的距离都小于
R
R
R，为了实现软边界分类，通过变量
ξ
i
\xi_i
ξi和惩罚因子
C
C
C来控制。此时最小化的问题为：
m
i
n
R
,
a
R
2
+
C
∑
i
=
1
n
ξ
i
subject to:
∥
x
i
−
a
∥
2
≤
R
2
+
ξ
i
for all
i
=
1
,
.
.
.
,
n
ξ
i
≥
0
for all
i
=
1
,
.
.
.
,
n
\mathop {\text min}\limits_{R,\textbf a}R^2+C\sum_{i=1}^{n}\xi_i \\ \text {subject to:}\\ \|x_i-\text a\|^2\leq R^2+\xi_i \qquad \text {for all}\quad i = 1,...,n \\ \xi_i\geq0 \qquad \text {for all}\quad i = 1,...,n
R,aminR2+Ci=1∑nξisubject to:∥xi−a∥2≤R2+ξifor alli=1,...,nξi≥0for alli=1,...,n
当利用拉格朗日算子解决上述问题之后，新的数据点
z
z
z将通过是否小于等于半径来实现，通过高斯核来作为距离函数，那么决策函数如下：
∥
z
−
x
∥
2
=
∑
i
=
1
n
α
i
exp
(
−
∥
z
−
x
i
∥
2
σ
2
)
≥
−
R
2
2
+
C
R
\|z-\textbf x\|^2=\sum_{i=1}^{n}\alpha_i \exp\left(\frac{-\|z-x_i\|^2}{\sigma^2}\right)\geq-\frac{R^2}{2}+C_R
∥z−x∥2=i=1∑nαiexp(σ2−∥z−xi∥2)≥−2R2+CR
在之前的论文还是某些文章中看到过，当使用高斯核的时候，SVDD和OCSVM是等价的，但是这个需要再权威的书籍确认下。
在文章[1]的后面，就是利用matlab进行编程了，由于对matlab并不熟悉，这里不再展开。从这里基本上已经明白了大致的原理。不过，因为OCSVM在sklearn中是直接存在的，但SVDD并没有，可能需要别的库来实现。
不过，还是要说，这里仅仅是记录了公式，也没有展开分析，后续还是要找一些相关文章，看看他们推导的过程，不需要记住，但是知道有这样一个过程也足够了。
该部分主要参考文章[2]，这篇文章的视角并不是从数学原理上来介绍，算是一篇实践的文章；而且他切入问题的视角，是为了解决样本分布不均衡问题。这篇文章好的原因，是因为他把样本不均衡的问题进行了大致的解释，而且逐步通过多种方法实现了对比，这样的学习路径就更轻松，也更容易让人接收。
样本不均衡问题很常见，最直观的例子就是异常检测，一般正常的数据比较读，而异常数据相对来说比较少。假设两种数据都有了标签，那么就可以通过传统的监督方法来实现分类，但是这种方式非常容易造成一个假象，那就是分类器的性能非常好；这种假象就是因为某个类别的数量特别多造成的，而他自己因为数量优势把整体的性能硬性提高了，实际上数量比较少的类别可能直接全军覆没了。（这仅仅是直观感受，还是要通过实际的数据来查看，但大致上是这么个原理。）特别是当这个不均衡比例非常大的时候，这种情况就更明显了。
一般来说， 处理这种样本不均衡的问题，通常有三种手段：
文章[2]是通过一个金融数据来进行检测，其中包括五个特征，一个标签标识是否为异常，其中异常的数据占比大概为2%左右，非常不均衡的数据。那么先来训练一个罗切斯特回归的模型，来看看他的AUC效果。
看起来好像挺好，但是实际上，可以查看他的混淆矩阵，如下图。
仅仅由28%的异常数据被准确识别，这样的小姑是无法接受的。
clf = LogisticRegression(class_weight={0:1,1:5})
通过调整这个数值比例，能够出现这个异常类别识别效果提升的过程。但当提升到一定程度的时候，发现这种方法最然提高了异常类别的识别履，但是最终也导致正常的识别性能下降。
from imblearn.under_sampling import RandomUnderSampler
rus = RandomUnderSampler()
X_resampled, y_resampled = rus.fit_sample(X_train, y_train)
clf = LogisticRegression()
clf.fit(X_resampled, y_resampled)
通过一个专门的库来进行降采样和升采样的操作。需要注意的是，一定要再分开数据集之后再进行这个操作。但是实际上这种操作并不能缓解这个数据的问题。本质上是因为，这种操作在导致这个数据发生了重叠。
所以说，并不是这个方法不对，而是并不适合这个数据集。文章给出了解释说，只有两个类被之间存在着明显的平面划分时才会有效果。
为了使用OCSVM，文章首先查看了两两组合的数据分布图，如下：
在上图中的第五个图中，两种颜色的点都混合在了一起，文章给出解释，说这样的特征就不具备一定的预测性；但是我比较持怀疑态度，虽然从他们两个组合在一起呈现出来混合的状态，但是这两个特征和其他特征一起看的时候，还是有效果的，所以我不是很赞同他的说法。但还是看他的效果怎么样。一类学习的模型仅仅需要一个类别的数据，那么这里使用正常数据来训练，而且结合前面说的特征不行的问题，这里将这两个特征去掉，代码如下：
from sklearn.svm import OneClassSVM
train, test = train_test_split(data, test_size=.2)
train_normal = train[train['y']==0]
train_outliers = train[train['y']==1]
outlier_prop = len(train_outliers) / len(train_normal)
svm = OneClassSVM(kernel='rbf', nu=outlier_prop, gamma=0.000001) svm.fit(train_normal[['x1','x4','x5']])
这里调整的参数是nu，也就是前面公式的
ν
\nu
ν，直接设置为了整体训练数据的这个异常比例，其实我感觉这样设置是不对的，因为实际上，训练过程的数据中，并没有异常的内容，这里持怀疑态度。
#绘制原始异常数据
x = test['x1']
y = test['x4']
plt.scatter(x, y, alpha=0.7, c=test['y'])
plt.xlabel('x1')
plt.ylabel('x4')
#绘制预测效果数据
x = test['x1']
y = test['x4']
y_pred = svm.predict(test[['x1','x4','x5']])
colors = np.array(['#377eb8', '#ff7f00'])
plt.scatter(x, y, alpha=0.7, c=colors[(y_pred + 1) // 2]) plt.xlabel('x1')
plt.ylabel('x4')
最后通过调整gamma的数值，最后为0.000001的时候，效果最好。
混淆矩阵如下：
这个预测效果就比其他的方法好很多了；但是实际上前面也提到了他这里的使用，算是说明了一类SVM的使用方法，但也存在一些问题，就是前面提到的那些坑。
本篇文章学习了国外的两篇博客，分别通过数学原理和实际实践的角度看到了一类SVM的效果。
[1]Introduction to One-class Support Vector Machines
[2]Outlier Detection with One-Class SVMs