检查 Pandas 数据框是否存在异常值[重复]

2023-12-29

传感器图 https://i.stack.imgur.com/OahnS.png

我对包含 8 个电极的传感器进行了实验。 上图是电极输出与时间的关系图。 正如您在图中看到的,8 个电极之一显然是异常值(可能是由于某些电气故障)。 该图是从 Pandas DataFrame 生成的,该数据框基本上有 10 列(1 列表示时间,8 列表示电极,1 列表示 8 个电极的平均值)。

统计检测其中一列是否为异常值的最佳方法是什么?我想异常值列可以从数据框中删除。

Thanks!


散点图或分布图非常适合指出异常值。但在熊猫数据框的问题上,我将如何做到这一点。

df.decribe()

将为您提供一个良好的平均值、最大值和所有百分位矩阵。查看列的最大值,如果其大于值的 75%,则指出异常值。

Then df['Sensor Value'].value_counts()应该给你值的频率。您将在此处显示具有较大值和较低频率的异常值。

获取他们的索引并使用删除它们df.drop(indexes_list, inplace=True)

EDIT: 您还可以检查异常值mean +/- 3 * standard deviation.

示例代码:

outliers = df[df[col] > df[col].mean() + 3 * df[col].std()]
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

检查 Pandas 数据框是否存在异常值[重复] 的相关文章

  • 用 Python 编写一个无操作或虚拟类

    假设我有这样的代码 foo fooFactory create 由于种种原因 fooFactory create 可能无法创建实例Foo 如果可以的话我想要fooFactory create 返回一个虚拟 无操作对象 这个对象应该是完全惰性
  • 类属性在功能上依赖于其他类属性

    我正在尝试使用静态类属性来定义另一个静态类属性 我认为可以通过以下代码来实现 f lambda s s 1 class A foo foo bar f A foo 然而 这导致NameError name A is not defined
  • 如何将条目中的部分文本加粗并更改其背景颜色?

    我正在创建一个基于 Tkinter 的 GUI 它有一个 Entry 小部件 我想将其文本的一部分加粗并更改其背景颜色 但我不知道我该怎么做 如果我使用文本小部件 我可以只使用标签 但看起来它们不能与条目小部件一起使用 此代码使用文本小部件
  • 在 Python 中使用 sec 函数的反函数

    我正在创建一个程序 用于计算从一定高度范围和设定初始速度发射射弹的最佳角度 在我需要使用的最终方程中 存在一个反 sec 函数 它导致了一些麻烦 我已经导入了数学并尝试使用 asec 无论如何 但是数学似乎无法计算反秒函数 我也明白 sec
  • Sorted(key=lambda: ...) 背后的语法[重复]

    这个问题在这里已经有答案了 我不太明白背后的语法sorted 争论 key lambda variable variable 0 Isn t lambda随意的 为什么是variable在看起来像的内容中陈述了两次dict 我认为这里的所有
  • 使用正则表达式解析 Snort 警报文件

    我正在尝试使用 Python 中的正则表达式从 snort 警报文件中解析出源 目标 IP 和端口 和时间戳 示例如下 03 09 14 10 43 323717 1 2008015 9 ET MALWARE User Agent Win9
  • 将一个时间序列插入到 pandas 中的另一个时间序列中

    我有一组定期测量的值 说 import pandas as pd import numpy as np rng pd date range 2013 01 01 periods 12 freq H data pd Series np ran
  • 当x轴不连续时如何删除冗余日期时间 pandas DatetimeIndex

    我想绘制一个 pandas 系列 其索引是无数的 DatatimeIndex 我的代码如下 import matplotlib dates as mdates index pd DatetimeIndex 2000 01 01 00 00
  • 唯一的图像哈希值即使 EXIF 信息更新也不会改变

    我正在寻找一种方法来为 python 和 php 中的图像创建唯一的哈希值 我考虑过对原始文件使用 md5 和 因为它们可以快速生成 但是当我更新 EXIF 信息 有时时区关闭 时 它会更改总和 并且哈希也会更改 有没有其他方法可以为这些文
  • 使用Python将图像转换为十六进制格式

    我的下面有一个jpg文件tmp folder upload path tmp resized test jpg 我一直在使用下面的代码 Method 1 with open upload path rb as image file enco
  • Python While 循环,and (&) 运算符不起作用

    我正在努力寻找最大公因数 我写了一个糟糕的 运算密集型 算法 它将较低的值减一 使用 检查它是否均匀地划分了分子和分母 如果是 则退出程序 但是 我的 while 循环没有使用 and 运算符 因此一旦分子可整除 它就会停止 即使它不是正确
  • Python unicode 字符代码?

    有没有办法将 Unicode 字符 插入 Python 3 中的字符串 例如 gt gt gt import unicode gt gt gt string This is a full block s unicode charcode U
  • 在 Mac 上安装 Pygame 到 Enthought 构建中

    关于在 Mac 上安装 Pygame 有许多未解答的问题 但我将在这里提出我的具体问题并希望得到答案 我在 Mac 上安装 Pygame 时遇到了难以置信的困难 我使用 Enthought 版本 EPD 7 3 2 32 位 它是我的默认框
  • 在 Windows 上使用 IPython 笔记本时出现 500 服务器错误

    我刚刚在 Windows 7 Professional 64 位上全新安装了 IPython 笔记本 我采取的步骤是 从以下位置安装 Python 3 4 1http python org http python org gt pip in
  • urllib2.urlopen() 是否实际获取页面?

    当我使用 urllib2 urlopen 时 我在考虑它只是为了读取标题还是实际上带回整个网页 IE 是否真的通过 urlopen 调用或 read 调用获取 HTML 页面 handle urllib2 urlopen url html
  • CSV 在列中查找最大值并附加新数据

    大约两个小时前 我问了一个关于从网站读取和写入数据的问题 从那时起 我花了最后两个小时试图找到一种方法来从输出的 A 列读取最大日期值 将该值与刷新的网站数据进行比较 并将任何新数据附加到 csv 文件而不覆盖旧的或创建重复项 目前 100
  • Google App Engine 中的自定义身份验证

    有谁知道或知道我可以在哪里学习如何使用 Python 和 Google App Engine 创建自定义身份验证流程 我不想使用 Google 帐户进行身份验证 并且希望能够创建自己的用户 如果不是专门针对 Google App Engin
  • 将 Scikit-Learn OneHotEncoder 与 Pandas DataFrame 结合使用

    我正在尝试使用 Scikit Learn 的 OneHotEncoder 将 Pandas DataFrame 中包含字符串的列替换为 one hot 编码的等效项 我的下面的代码不起作用 from sklearn preprocessin
  • 从时间序列生成日期特征

    我有一个数据框 其中包含如下列 Date temp data holiday day 01 01 2000 10000 0 1 02 01 2000 0 1 2 03 01 2000 2000 0 3 30 01 2000 200 0 30
  • 如何识别图形线条

    我有以下格式的路径的 x y 数据 示例仅用于说明 seq p1 p2 0 20 2 3 1 20 2 4 2 20 4 4 3 22 5 5 4 22 5 6 5 23 6 2 6 23 6 3 7 23 6 4 每条路径都有多个点 它们

随机推荐

  • 在python中读取二进制大端文件

    我想使用 python 读取 ieee 大端 64 位浮点格式的大型二进制文件 但无法获取正确的值 我在matlab中有一个工作方法 如下 fid fopen filename r ieee be data fread fid inf fl
  • 将 AKSequencer 输出保存到本地文件

    我在使用音序器将 MIDI 保存到本地文件时遇到问题 正在创建并保存音频 但音频输出与应有的完全不同 这是我正在使用的代码 var sequencer AKSequencer let piano AKMIDISampler var offl
  • 如何从 OSGi 运行时环境中通过类名字符串加载类?

    我正在制作一个捆绑包来插入 OSGi 来为用户提供一个功能 Usercase User input the classname string and click list button the corresponding class wil
  • request.GET.get 是什么意思?

    request GET get 是什么意思 我在 Django 中看到类似的东西 page request GET get page 1 我认为这与类似的事情有关 li a href laquo a li 它们是如何工作的 The requ
  • Neo4J 3.0中配置文件的位置在哪里?

    我最近安装了 Neo4j 3 0 由于我需要启用外部访问 因此我需要配置文件 以及 2 3 3 中配置文件位于 var lib neo4j 结构中的位置 我无法在 3 0 版本中的任何位置找到它们 我知道它已更名为 neo4j conf 我
  • 使用apache和passenger部署rails应用程序后,显示页面不存在

    我已经使用 apache2 和乘客部署了 Rails 应用程序 一切都很顺利 但部署后它说您正在寻找的页面不存在 我的应用程序名称是 opengrok 我的 apache 配置位于 etc apache2 sites avaibleable
  • 终止使用子进程打开的 gnome 终端

    使用子进程和命令 gnome terminal e bash 我可以根据需要打开一个 gnome 终端 并让它保留在周围 这是通过以下任一方法完成的 p subprocess Popen gnome terminal e bash or p
  • Android Marshmallow - 自定义搜索栏进度条未显示

    我正在尝试像这样自定义我的搜索栏 在 API 级别 My seek bar progress bar xml
  • Hibernate 向数据库发送外来查询

    我有一个由 hibernate 支持的 Web 应用程序 在过去的几天里 我开始密切监视 mysql 发现 hibernate 正在向数据库发送未知查询 而这些查询实际上不是从应用程序的任何部分发送的 查询看起来像 mysql connec
  • 如何在 Swift 中识别连续触摸?

    如何在 Swift 代码中识别连续的用户触摸 我所说的连续是指用户将手指放在屏幕上 只要用户触摸屏幕 我就想将精灵套件节点移动到用户触摸的方向 基本步骤 存储触摸事件的位置 touchesBegan touchesMoved 将精灵节点移向
  • 在 Windows XP 中设置 Tomcat 服务的默认区域设置

    我已在 Windows XP 计算机中安装了 Apache Tomcat 6 作为服务 法语 我的问题是 Tomcat 本身和所有网络应用程序 Sonar 和 Hudson 现在显示法语消息 我当然想要英文消息 所以我进入控制面板中的 区域
  • 如何将 @State 值分配给另一个 viewModel 发布的属性

    如何将一个视图中的 State 值 secondaryMarked 分配给 Published SampleViewModel 属性 喜欢 SampleViewModel secondMarked 这是示例 struct ContentVi
  • 编译 openCV 代码时出现“函数未在此范围内声明”错误

    我正在尝试编写一些使用 openCV 函数的代码 我首先采用文档中提供的一些示例代码 include
  • VBScript 中的 XPath 计数

    我尝试使用 XPath 计数函数获取 XML 文件中特定节点的数量 但是 这不断返回错误 msxml3 dll 类型的异常 表达式不返回 DOM 节点 如何使用 VBScript 和 MSXML DOM 从 XPath 计数获取返回值 Di
  • 以数组为原型的 Javascript 对象成员由所有类实例共享

    以前有人注意到这种行为吗 这真的让我很失望 我本来期望原型数组对于每个类实例都是私有的 而不是在所有类实例之间共享 有人可以验证这是正确的行为 并且也许可以更详细地解释这种行为吗 请注意注释的代码以及它如何影响脚本的行为
  • 有没有好的交互式 3D 图形库?

    我正在寻找一个库 它将以 3D 方式布局和显示图形 即网络图 而不是图表 并具有一些交互性 例如选择和拖动节点 旋转显示等 我想在网页中执行此操作 因此 Javascript或 Flash 更好 我也会考虑 Java 自我审视后 我意识到选
  • Action<>多参数语法说明

    有时我无法理解最简单的事情 我确信它就在我的脸上 只是我看不到它 我尝试为这个简单类中的方法创建委托 public static class BalloonTip public static BalloonType BalType get
  • Linux下Git克隆fsync输入/输出错误

    我正在尝试克隆张量流 模型存储库 我通过 ssh 连接到远程计算机 我尝试了很多解决问题的建议 但没有一个对我有用 git clone recursive https github com tensorflow models git Clo
  • Firebase 云消息传递是否需要服务器?

    我目前正在开发一个 Android 应用程序 我想包含 Firebase Cloud Messaging 我计划让 Raspberry Pi 每 5 分钟左右检查一次网站 并在发生变化时发送推送通知 在官方文档中 他们说我需要一个 应用程序
  • 检查 Pandas 数据框是否存在异常值[重复]

    这个问题在这里已经有答案了 传感器图 https i stack imgur com OahnS png 我对包含 8 个电极的传感器进行了实验 上图是电极输出与时间的关系图 正如您在图中看到的 8 个电极之一显然是异常值 可能是由于某些电