【机器学习】Scikit-learn介绍

2023-05-16

一、Scikit-learn简介

Scikit-learn是一个支持有监督和无监督学习的开源机器学习库。它还为模型拟合、数据预处理、模型选择和评估以及许多其他实用程序提供了各种工具。

二、 拟合和预测:估算器基础 Fitting and predicting: estimator basics

(一)estimator

estimators:sklearn提供的内置的机器学习算法和模型,统称为估计器。每个估计器都可以用它的拟合方法fit来拟合某些数据。

(二)fit方法

fit方法通常接受两个输入:样本矩阵/设计矩阵 X ,X 的size为(n_samples, n_features),即样本数为行,特征为列。目标值 y 是回归任务的实数,或分类的整数(或任何其他离散值集)。对于无监督学习任务,不需要指定 y 。 y 通常是一维数组,其中第 i 个条目对应于 X 的第 i 个样本(行)的目标。X和y通常都是numpy数组或等效的数据类型。
一旦估计器被拟合,它就可以用于预测新数据的目标值。并且不需要重新训练估计器。

三、转换器和预处理器 Transformers and pre-processors

机器学习工作流通常由不同的部分组成。一个典型的管道(pipeline)由一个转换或插补数据的预处理步骤和一个预测目标值的最终预测器组成。
pipeline = a pre-processing step(transform or impute the data)+ a final predictor/estimator(predicts target value)
在 scikit-learn 中,预处理器和转换器遵循与 estimator 对象相同的 API(它们实际上都继承自同一个 BaseEstimator 类)。转换器对象没有预测方法,而是输出新变换的样本矩阵 X 的变换方法。
ColumnTransformer 列转换器:对不同的特征应用不同的变换

四、管道:链接预处理器和估计器 Pipelines: chaining pre-processors and estimators

管道提供了与常规估计器相同的API:它可以通过fit和predict进行拟合并用于预测。使用管道还可以防止数据泄漏。

五、模型评估 Model evaluation

多种方法,特别是针对cross-validation

六、自动参数搜索 Automatic parameter searches

所有的估计器都有可以调整的参数(超参数 hyper-parameters)。估计量的泛化能力通常主要取决于几个参数。超参数的确定主要取决于数据。
Scikit-learn 提供了自动寻找最佳参数组合的工具(通过交叉验证)。

注意:在实践中,您几乎总是希望搜索管道,而不是单个估计器。其中一个主要原因是,如果您在不使用管道的情况下对整个数据集应用预处理步骤,然后执行任何类型的交叉验证,您将打破训练和测试数据之间独立性的基本假设。实际上,由于您使用整个数据集对数据进行了预处理,因此有关测试集的一些信息可供训练集使用。这将导致高估估计器的泛化能力(您可以在Kaggle的文章中阅读更多)。
使用管道进行交叉验证和搜索将在很大程度上避免这种常见的陷阱。

参考:
scikit-learn 官方文档
scikit-learn 中文文档
机器学习框架之sklearn简介
scikit-learn 使用实例

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【机器学习】Scikit-learn介绍 的相关文章

  • jq获取和设置标签的css样式、jq给标签增加或移除class属性

    1 jQuery获取和设置标签的css样式 jQuery既可以直接获取标签的css样式 xff0c 也可以设置样式 xff0c 包括行内 内部 外部样式 xff1b 思路 xff1a 先要选取这个标签 xff0c 然后再获取或者设置样式 x
  • LwIP多TCP连接问题

    多个TCP连接的问题困扰了我很久 xff0c 前段时间解决了这个问题 xff0c 现在写下我的感受 xff1a 多个TCP可以绑定多个端口 xff0c 这里我是绑定一个端口 xff0c 这样更加复合实际应用 xff08 我的多个TCP的功能
  • GitHub Pages 绑定个人域名

    文章目录 一 购买域名二 配置域名解析三 GitHub Pages 绑定个人域名四 本地设置 CNAME五 重新发布网站 之前我们已经使用 github 搭建好了个人网站 xff0c 可以通过 xxx github io 来访问自己的网站
  • Pycharm提示 Unresolved reference 的解决办法

    有时候a py和b py在一个目录里面 xff0c 但是在a py种写import b有时会提示Unresolved reference xff0c Pycharm常见 xff0c 解决办法是setting gt Project gt Pr

随机推荐

  • 解决idea新建maven项目时一直loading问题

    idea里新建maven项目时 xff0c 在create from archetype时 xff0c 一直显示loading archetype list 原因 idea一直读自己的配置里缓存导致的 解决 方案一 把 C Users Ad
  • 安装windows时install.wim文件过大的解决方案

    安装windows时install wim文件过大的解决方案 问题描述解决方法 问题描述 windows镜像文件中 xff0c install wim大于4GB 直接解压镜像到u盘制作启动盘的方法只能用fat32格式 xff0c 不支持大于
  • Ubuntu 14 桌面图标消失解决办法

    1 使用ctrl 43 alt 43 F1进入字符命令界面 xff0c 登录账户 2 使用命令mv config config bk xff0c 相当于删除备份文件 xff0c 重启后页面正常
  • 在vue项目中使用Lottie动画(随看随用)

    前言 xff1a Lottie是一个IOS xff0c Android和React Native库 xff0c 可以实时渲染动画 xff0c 动画被转化成JSON文件 xff0c 节省了很多资源 xff0c 允许应用程序像使用静态图像一样轻
  • 对于python中“FileNotFoundError: [Errno 2] No such file or directory”的解决办法

    在我们使用vscode运行Python代码时遇到的情况 一 出现原因 xff1a 这里是由于Vscode中 xff0c python里的路径是相对与工作目录来进行定位的 所以在多级目录情况下 xff0c 若不设置绝对路径 xff0c 往往找
  • 《构建Debian的精彩世界》

    2007 10 06 星期六 12 04 darkblue 这段时间在公司一直使用Ubuntu系统 xff0c 其实刚来的时候用的是Debian xff0c 也是我头一次安装 配置和使用Debian系统 后来为了统一开发环境 xff0c 才
  • 由于找不到VCRUNTIME140_1.dll,无法继续执行代码。重新安装程序可能会解决此问题

    重装office之后双击Excel和PowerPoint无法正常打开 并弹出如下提示 并且 docx文件和 xls文件图标变成了下图所示 双击 docx xff0c 弹出Global Labeling Management Print To
  • Java 在Linux使用crontab进行定时任务设置并执行jar

    需求 xff1a 通过java执行linux命令 xff0c 通过crontab定时执行jar 通过java执行定时任务时需要监理shell文件和一个txt文件 xff0c 通过将txt文件设置到crontab中 xff0c 定时调用 sh
  • apache配置多个版本php

    主要虚拟主机配置信息 FcgidInitialEnv PHPRC D phpstudy php55n 指定php目录 AddHandler fcgid script php FcgidWrapper D phpstudy php55n ph
  • 解决 Could not find com.android.tools.build:gradle 问题

    现在CSDN的文章也不靠谱 xff0c 都是复制粘贴 回到问题 repositories 也设置了 下载 gradle 6 8 1 all zip setting gradle use gradle from 选择 gradle wrapp
  • #移动开发者大会#总结

    移动开发者大会 总结 xff08 有限的发言者 xff09 xff1a 李开复 xff1a 1 Android将在中国一骑绝尘 今年底中国将有4000万台Android手机 xff0c 2000万台iPhone 明年底总数会翻一倍 xff0
  • 2011河北金融学院CSDN高校俱乐部动员大会

    2011年11月24日下午二点 xff0c 我校CSDN高校俱乐部动员大会在教学楼B123举行 该次大会主要针对大一学生召开 xff0c 号召大家了解并加入CSDN高校俱乐部 俱乐部指导老师王洪涛老师 计算机协会指导老师杜光辉老师 以及优秀
  • “激情与梦想 我的程序员之路”—2012高校巡讲

    2012年3月29日下午2点半 xff0c CSDN高校俱乐部项目主管潘永强老师在我校进行了一场以 激情与梦想 xff0c 我的程序员之路 为主题的演讲 信息管理与工程系团总支书记陈春燕 指导老师王洪涛以及杜光辉 刘冲等7位老师出席了该次讲
  • Linux基础.交叉编译工具链,makefile

    一 交叉工具链大纲 1 什么是交叉工具链 xff1f 什么是交叉编译 xff1f 2 安装交叉工具链方法 xff0c 结合环境变量PATH xff0c 工具链选项 3 Makefile使用 xff0c Makefile书写规则 4 嵌入式静
  • 基于TensorFlow2.3.0的花卉识别Android APP设计

    一 前言 本设计为基于TensorFlow2 3 0的花卉识别Android APP TensorFlow2 3 0的API简单易用 xff0c 训练好后模型导出tflite格式供Anroid APP使用 开发环境 xff1a Window
  • Docker部署 nodejs项目应用 一 : 安装docker

    尝试一下用docker容器 xff0c 那么首先要安装docker 一 安装docker 由于笔者服务器的系统是centos7 xff0c 所以这里写的是在centos7上安装docker xff1b 注 xff1a Docker 要求 C
  • Java 反射 -超详细讲解(附源码)

    学到spring框架的时候 xff0c 发现反射思想很重要 xff0c 故特此写下此文 xff0c 以加深理解 文章目录 1 xff1a 反射概述2 xff1a Class对象特点3 xff1a 反射的使用1 获取类对象2 利用反射机制创建
  • 推荐7款好用的终端工具

    点击上方 IT牧场 xff0c 选择 置顶或者星标 技术干货每日送达 1 Cmder 下载地址 xff1a https cmder net Cmder是一个代替cmd的终端工具 只能操作Windows 它的好处是 xff1a 支持大部分Li
  • STM32 FMC原理详解

    关于FSMC的基本原理已经在这两篇讲解了 xff0c 如果有不懂的建议先看一下 xff0c 这里我们对一些基本概念会说的少一些 xff0c 主要就是针对FMC的特点和FSMC跟FMC的区别做主要的阐述 区别不大 STM32 FSMC FMC
  • 【机器学习】Scikit-learn介绍

    一 Scikit learn简介 Scikit learn是一个支持有监督和无监督学习的开源机器学习库 它还为模型拟合 数据预处理 模型选择和评估以及许多其他实用程序提供了各种工具 二 拟合和预测 xff1a 估算器基础 Fitting a