程序员经验分享-hwhale

Python机器学习从零开始（五）算法审查

2023-11-20

目录

1.审查分类算法

1.1线性算法审查

1.2非线性算法审查

2.审查回归算法

2.1线性算法审查

2.2非线性算法审查

3.算法比较

总结

程序测试是展现BUG存在的有效方式，但令人绝望的是它不足以展现其缺位。

——艾兹格·迪杰斯特拉（Edsger W. Dijkstra）

算法审查时选择合适的机器学习算法主要方式之一。审查算法前并不知道哪个算法对问题最有效，必须设计一定的实验进行验证，以找到对问题最有效的算法。 

审查算法前没有办法判断那个算法对数据集最有效、能够生成最优模型，必须通过一些列的实验进行验证才能够得出结论，从而选择最优的算法。这个过程被称为审查算法。

审查算法时，要尝试多种代表性算法、机器学习算法以及多种模型，通过大量实验才能找到最有效的算法。

1.审查分类算法

1.1线性算法审查

1.1.1逻辑回归

逻辑回归其实是一个分类算法而不是回归算法，通常是利用已知的自变量来预测一个离散型因变量的值（如二进制0/1、真/假）。简单来说，它就是通过拟合一个逻辑回归函数（Logistic Function）来预测事件发生的概率。所以它预测的是一个概率值，它的输出值应该为0~1，因此非常适合二分类问题。

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression#逻辑回归

filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]

#逻辑回归
num_folds = 10
seed = 7
kfold = KFold(n_splits=num_folds, random_state=seed, shuffle=True)
model = LogisticRegression(max_iter=3000)
result = cross_val_score(model, X, Y, cv=kfold)
print(result.mean())

执行结果如下：

0.7721633629528366

1.1.2线性判别分析

线性判别分析（Linear DIscriminant Analysis，LDA），也叫做Fisher线性判别（Fisher Linear Discriminant Analysis，FLD）。它的思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大类间距离和最小类内距离。因此，他是一种有效的特征抽取方法。（完全不懂它是什么东西。。。）

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

#相同代码不再赘述

#线性判别分析
model = LinearDiscriminantAnalysis()
result = cross_val_score(model, X, Y, cv=kfold)
print(result.mean())

执行结果如下：

0.7669685577580315

1.2非线性算法审查

1.2.1K近邻算法

K近邻算法的基本思路是：如果一个样本在特征空间中的ｋ个最相似的样本中大多数属于某一个类别，则该样本也属于这个了类别。在scikit-learn中通过KNeighborsClassifier实现。

from sklearn.neighbors import KNeighborsClassifier

#相同代码不再赘述

#K近邻
model = KNeighborsClassifier()
result = cross_val_score(model, X, Y,cv=kfold)
print(result.mean())
0.7109876965140123

1.2.2贝叶斯分类器

贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其在所有类别上的后验概率，即该对象属于某一类的来率，选择具有最大后验概率的类作为该对象所属的类。

from sklearn.naive_bayes import GaussianNB

#贝叶斯分类器
model = GaussianNB()
result = cross_val_score(model, X, Y,cv=kfold)
print(result.mean())
0.7591421736158578

1.2.3分类与回归树

分类与回归树（CART）.CART算法由以下两布组成：

  1. 树的生成：基于训练集生成决策树，生成的决策树要尽量大。
  2. 树的剪枝：用验证集对已生成的树进行剪枝，并选择最优子树，这时以损失函数最小作为剪枝标准。 
from sklearn.tree import DecisionTreeClassifier

#分类与回归树
model = DecisionTreeClassifier()
result = cross_val_score(model, X, Y,cv=kfold)
print(result.mean())
0.688961038961039

1.2.4支持向量机

from sklearn.svm import SVC

#支持向量机
model = SVC()
result = cross_val_score(model, X, Y,cv=kfold)
print(result.mean())
0.760457963089542

2.审查回归算法

本部分使用波士顿房价的数据集来审查回归算法，采用10折交叉验证来分离数据，并应用到所有的算法上。

2.1线性算法审查

2.1.1线性回归算法

线性回归算法时利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中，若只包含一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析成为一元线性回归分析。如果回归分析中包含两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LinearRegression

filename = 'housing.csv'
names = ['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PRTATIO','B','LSTAT','MEDV']
data = read_csv(filename,names=names,delim_whitespace=True)
array = data.values
X = array[:,0:13]
Y = array[:,13]
n_splits = 10
seed = 7
kfold = KFold(n_splits=n_splits,random_state=seed,shuffle=True)

#线性回归算法
model = LinearRegression()
scoring = 'neg_mean_squared_error'
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print("线性回归算法：%.3f" % result.mean())
线性回归算法：-23.747

2.1.2岭回归算法

岭回归算法是一种专门用于共线性数据分析的有偏估计回归方法，实际上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价，获得回归系数更符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

from sklearn.linear_model import Ridge

#岭回归算法
model = Ridge()
scoring = 'neg_mean_squared_error'
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print("岭回归算法：%.3f" % result.mean())
岭回归算法：-23.890

2.1.3套索回归算法

套索回归算法与岭回归算法类似，套索回归算法也会惩罚回归系数，在套索回归中会惩罚回归系数的绝对值大小。此外，它能够减少变化程度并提高线性回归模型的精度。

from sklearn.linear_model import Lasso

#套索回归算法
model = Lasso()
scoring = 'neg_mean_squared_error'
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print("套索回归算法：%.3f" % result.mean())
套索回归算法：-28.746

2.1.4弹性网络回归算法

弹性网络回归算法是套索回归算法和岭回归算法的混合体，在模型训练时弹性网络回归算法综合使用L1和L2两种正则化方法。当有多个相关的特征时，弹性网络回归算法是很有用的，套索回归算法会随机挑选一个，而弹性网络回归算法则会选择两个。它的优点是允许弹性网络回归继承循环状态下岭回归的一些稳定性。

from sklearn.linear_model import ElasticNet

#弹性网络回归算法
model = ElasticNet()
scoring = 'neg_mean_squared_error'
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print("弹性网络回归算法：%.3f" % result.mean())
弹性网络回归算法：-27.908

2.2非线性算法审查

2.2.1K近邻算法

在scikit-learn中对回归算法的K近邻算法的实现类是KNeighborsRegressor。默认距离参数为闵氏距离。

from sklearn.neighbors import KNeighborsRegressor

#K近邻算法
model = KNeighborsRegressor()
scoring = 'neg_mean_squared_error'
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print("K近邻算法：%.3f" % result.mean())
K近邻算法：-38.852

2.2.2分类与回归树

在scikit-learn中分类与回归树的实现类是DecisionTreeRegressor。

from sklearn.tree import DecisionTreeRegressor

#分类与回归树算法
model = DecisionTreeRegressor()
scoring = 'neg_mean_squared_error'
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print("分类与回归树算法：%.3f" % result.mean())
K近邻算法：-38.852
分类与回归树算法：-21.527

2.2.3支持向量机

from sklearn.svm import SVR

#支持向量机
model = SVR()
scoring = 'neg_mean_squared_error'
result = cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print("支持向量机:%.3f" % result.mean())
支持向量机:-67.641

3.算法比较

比较不同算法的准确度，选择合适的算法，在处理机器学习的问题时是分厂重要的。接下来将介绍一种模式，在scikit-learn中可以利用它比较不同的算法，并选择合适的算法。

当得到一个新的数据集时，应该通过不同的维度来审查数据，以便找到数据的特征。一种比较好的方法是通过可视化的方式来展示平均准确度、方差等属性，以便于更方便地选择算法。

最合适的算法比较方法是：使用相同数据、相同方法来评估不同算法，以便得到一个准确的结果。

使用Pima Indias数据集来介绍如何比较算法。采用10折交叉验证来分离数据，并采用相同的随机数分配方式来确保所有算法都使用相同的数据。为了便于理解，为每个算法设定一个短名字。

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neighbors import KNeighborsRegressor
from sklearn.tree import DecisionTreeRegressor
from sklearn.svm import SVC
from sklearn.naive_bayes import GaussianNB
from matplotlib import pyplot


filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename,names=names)
array = data.values
X = array[:,0:8]
Y = array[:,8]
num_folds = 10
seed = 7
kfold = KFold(n_splits=num_folds,random_state=seed,shuffle=True)
models={}
models['LR'] = LogisticRegression(max_iter=3000)
models['LDA'] = LinearDiscriminantAnalysis()
models['KNN'] = KNeighborsRegressor()
models['CART'] = DecisionTreeRegressor()
models['SVM'] = SVC()
models['NB'] = GaussianNB()
results = []
for name in models:
    result = cross_val_score(models[name], X, Y, cv=kfold)
    results.append(result)
    msg = '%s: %.3f (%.3f)' % (name, result.mean(), result.std())
    print(msg)

#图表显示
fig = pyplot.figure()
fig.suptitle('Algorithm Comparison')
ax = fig.add_subplot(111)
pyplot.boxplot(results)
ax.set_xticklabels(models.keys())
pyplot.show()

执行结果如下：

LR: 0.772 (0.050)
LDA: 0.767 (0.048)
KNN: 0.081 (0.159)
CART: -0.478 (0.257)
SVM: 0.760 (0.035)
NB: 0.759 (0.039)

总结

本文主要介绍了算法审查以及如何选择最合适的算法，在第三部分中提供了代码实例，可以直接将其作为模板使用到项目中以选择最优算法。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

机器学习实战

python

机器学习

人工智能

算法

Python机器学习从零开始（五）算法审查 的相关文章

随机推荐

  • js 将一维数组转为二维数组并分组

    let arr a W b W01 a W b W02 a WC b WC01 a WC b WC02 a WC b WC02 a WC b WC02 let map arr forEach item gt if map item a ma

  • 理解Spring定时任务@Scheduled的两个属性fixedRate和fixedDelay

    fixedRate和fixedDelay都是表示任务执行的间隔时间 fixedRate和fixedDelay的区别 fixedDelay非常好理解 它的间隔时间是根据上次的任务结束的时候开始计时的 比如一个方法上设置了fixedDelay

  • js 手机、邮箱、身份证格式验证

  • 使用Transformer与无监督学习，OpenAI提出可迁移至多种NLP任务的通用模型

    OpenAI 最近通过一个与任务无关的可扩展系统在一系列语言任务中获得了当前最优的性能 目前他们已经发布了该系统 OpenAI 表示他们的方法主要结合了两个已存的研究 即 Transformer 和无监督预训练 实验结果提供了非常令人信服的

  • 不相交集类(并查集）

    并查集 就是只有合并和 查找操作的一种数据结构 很简单 主要判断一个元素是否在一个集合里 主要应用在最小生成树 Kruskal算法 看到图的时候会将实现代码贴上 package chapter8 类名 DisjSets 说明 实现并查集 按

  • Siddhi

    1 Siddhi是什么 Siddhi是一个开源的流处理和复杂事件处理引擎 由WSO2公司开发 它提供了一个强大而灵活的框架 用于处理实时流数据和复杂事件 官网 2 Siddhi特点和功能 Siddhi具有以下特点和功能 1 实时流处理 Si

  • TypeScript之元组、数组以及 as const

    一 元组 数组 在 TS 中 元组表示 这个数组有不同的类型 简单的一句话来表述 如果类型相同的一组数据就是数组 反之就是元组 数组的 api 对于元组来讲也是通用的 push pop等 只是类型不同 1 数组的定义 定义数组的方式 let

  • 个人喜欢的网站http://www.w3school.com.cn

    http www w3school com cn 这个网站很好 能帮助很多人

  • 用 JAVA 编写一个 M3U8 视频下载器

    总览 本文简要介绍了 M3U8 视频文件格式 并且用代码实现下载一个 M3U8 文件的视频资源 背景 前段时间在做视频真实地址解析下载时候发现很多视频网站用了 CKplayer 播放的时候传过来的参数是一个 M3U8 文件的链接 和普通的视

  • 【JS基础数组方法】数组过滤、切割、查询

    1 Array filter 数组过滤 语法 array filter function currentValue index arr thisValue 有两个参数 一个是函数 为必选参数 函数中又有三个参数 currentValue为当

  • Unity单元测试流程

    文章目录 环境 流程 1 创建一个存放 单元测试程序集 的目录 2 打开 Test Runner 窗口 3 选择单元测试模式 4 创建单元测试程序集 5 创建测试脚本 6 运行测试 环境 Unity 2020 3 3f1 流程 1 创建一个

  • centos 通过docker搭建 kurento-media-server 遇到的各种奇葩的大坑

    kurento media server里的坑有n多 而且很多是极其初级的坑 忍不住吐槽一下 不知道是故意的还是他们的程序员刚毕业 1 首先kurento media server只能安装在ubuntu14 和16版本 2 如果你想在cen

  • ST-GCN的学习之路（一）论文分析

    目录 St GCN 2018AAAI Introduction Multiple modalities of human action The weakless of previous methods This work s advanta

  • antv-g2语法总结

    目的 使用antv g2完成一个图表 该图表有两种结构组成 散点图与矩形图组成 我们需要将散点图与矩形图分别在两个view中绘制 所以还需要总结一下view的概念 第一步语法基础 首先是引入相应依赖 其次是创建html容器 div div

  • vue---element el-tree全选、清空、展开、收缩等基本功能总结

    目录 el tree 1 获取选中 2 设置选中 3 全选 清空 4 展开收缩 5 完整代码 el tree 用来展示树型结构的信息 具备展开和折叠的功能 通过案例介绍相关知识点内容 案例实现的功能如下 1 获取选中 可通过node和key

  • 内网渗透工具-反向代理nps使用分析

    0x1 简介 nps 是一款轻量级 高性能 功能强大的内网穿透代理服务器 支持 tcp udp 流量转发 可在网页上配置和管理各个tcp udp隧道 内网站点代理 http https解析等 功能强大 操作方便 0x2 前期准备 1 安装编

  • python运算符

    usr bin python encoding utf 8 print fish 输出方式一 print Hello World 输出方式二 if True 判断语法 print True else print False str Runo

  • OSI七层模型详解

    OSI 七层模型通过七个层次化的结构模型使不同的系统不同的网络之间实现可靠的通讯 因此其最主要的功能就是帮助不同类型的主机实现数据传输 完成中继功能的节点通常称为中继系统 在OSI七层模型中 处于不同层的中继系统具有不同的名称 一个设备工作

  • Tomcat的多实例和动静分离

    目录 一 多实例 二 nginx tomcat的负载均衡和动静分离 三 Tomcat 客户端 gt 四层代理 gt 七层代理 gt tomcat服务器 实验 问题总结 tomcat日志文件 usr local tomcat logs cat

  • Python机器学习从零开始（五）算法审查

    目录 1 审查分类算法 1 1线性算法审查 1 2非线性算法审查 2 审查回归算法 2 1线性算法审查 2 2非线性算法审查 3 算法比较 总结 程序测试是展现BUG存在的有效方式 但令人绝望的是它不足以展现其缺位 艾兹格 迪杰斯特拉 Ed

热门标签