【竞赛记录】kpi异常检测

2023-05-16

搞了个华为的KPI异常检测竞赛,当然搞的时候就没觉得自己会拿奖(我指安慰奖),但没想到有这么悬殊。一方面是没搞过时间序列的东西,好多东西要重新开始学;另一方面是,谁知道我一搞竞赛,一向放羊的导师开始疯狂cue我,怕不是开了个天眼。

首先从数据本身开始吧
KPI就是运维用来判断Web服务是否稳定的时间序列。

KPI时间序列
KPI有周期性的也有非周期性的,非周期的貌似还分稳定的和不稳定的。

周期性
非周期(稳定)
非周期(不稳定)但这次竞赛我只分了周期和非周期两种,周期(好像)一般是7,因为人的工作+休息的周期也是一周七天嘛。

数据预处理
因为周期数据要做回归,所以需要先将数据进行填充和去除异常点的预处理。
填充这一步用的就是python自带的:interpolate()
去除异常点这里用的Lowess(局部加权回归)做了个类似smooth的措施。

制造特征
给的数据中基本上能用的只有kpi的value这个值而已,所以要自己造特征。一开始是我自己算的一堆统计学特征,后来听说有TsFresh这么个好东西,就拿来用了。

from tsfresh.feature_extraction import MinimalFCParameters, EfficientFCParameters
from tsfresh import extract_features

不过有个问题是,我不能debug到TsFresh的数据样子,每次就很自然地,像run一样地跑完了。。。ORZ
也不知道是我的操作问题还是平台问题。

模型训练
好的,终于到这里了。我一想到一开始都是我一个个编写,却在最后一天一个简单粗暴的vote就很委屈 =皿=
周期的kpi序列用的是:XGB
非周期的kpi从一开是高斯混合

from sklearn.mixture import GaussianMixture

到逻辑回归
(话说一开始没找到这个函数,还是我自己对着公式编的)

from sklearn.linear_model import LogisticRegression

SVM和随机森林也搞一搞

from sklearn import preprocessing, svm
from sklearn.ensemble import RandomForestClassifier

到投票把这些都搞进去。

from sklearn.ensemble import VotingClassifier, 

异常点检验
这没什么好说的,用的3-sigma,就是用标准差弄个范围,超出范围的全是异常值。

结论
结论是那个准确率依旧很惨 ORZ
我觉得问题可能在这几个方面吧:
1,看了一下别的大佬做的,说是一开始除了我的数据预处理外,还要自己重新标注异常点,因为给的label未必是准的,然而我木有做。
2,制作特征方面可能还是太糙了,本来应该制作的特征有这~么多↓
时序特征构造
反正作为第一次参加竞赛、一边应付导师的我尽力了(去找下一个竞赛啦~)

参考:KPI异常检测竞赛笔记

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【竞赛记录】kpi异常检测 的相关文章

  • vs2017调用dll文件提示“LNK2019 无法解析的外部符号 “__declspec(dllimport) public: __cdecl ”解决方法

    如题 xff0c 通过vs2017定义的接口生成了dll文件并调用测试结果报错无法解析的外部符号 解决方法 xff1a 在C C 43 43 目录中包含dll对应的头文件 xff0c 库目录包含dll文件 xff0c 如下图所示 然后在链接
  • matlab使用app designer进行界面开发时,给控件的显示值进行赋值时,提示‘Text‘ 或‘Value‘ 必须为字符向量或字符串标量的解决办法

    使用 xff1a sprintf 39 s 39 taskID 进行变量值的格式化 如下图 xff1a 以及 xff1a
  • Chrome安装zotero connector 插件

    1 下载zotero connector插件 ZoteroConnectorv5 0 68 zip 其它文档类资源 CSDN下载 2 找到crx文件 xff0c 重命名为rar然后解压 3 打开扩展应用安装界面 4 打开开发者模式 xff0
  • 2011年工作总结---测试流程梳理

    主要针对半年测试工作中测试流程的梳理 根据各项目测试任务过程中自己的总结和学习 xff0c 这里介绍下测试各阶段的注意点 虽然以前也对测试各个阶段做了总结 xff0c 但是感觉很散很乱 xff0c 这里就整合一下以前的总结 xff0c 根据
  • 生成随机数的两种方法

    一 Math random 方法 它会生成一个大于等于0 0且小于1 0 0 0 1 0 的double类型的数字 public static void main String args 案例1 System out println 34
  • UnBBayes考虑时序因素时的推理

    最近在使用UnBBayes进行MEBN的研究 xff0c 有时候推理需要考虑上一时刻的状态 一开始总是无法产生前一时刻状态的节点 当加入证据 t pre 61 pretimeOf t now 后就可以正常出现上一时刻的状态的节点了
  • zotero文献管理软件插件配置终极教程

    zotero是一款开源免费的文献管理工具 xff0c 在各位大神制作的插件加持下 xff0c 对于我来说已经没有满足不了的文献管理需求了 xff01 xff01 xff01 现将zotero使用教程整理如下 首先感谢贡献zotero和zot
  • ROS多机器人时rviz无法显示机器人模型,提示:param robot_description not found by searchParam()

    如图所示 xff0c 使用ROS进行多机器人仿真时 xff0c RobotModel无法显示机器人模型 xff0c 提示 xff1a param robot description not found by searchParam 原因 x
  • xcode使用gdal库

    GDAL Geospatial Data Abstraction Library 是一个在X MIT许可协议下的开源栅格空间数据转换库 它利用抽象数据模型来表达所支持的各种文件格式 它还有一系列命令行工具来进行数据转换和处理 GDAL提供对
  • MAC系统版本AnyLogic提示the font “Times“ is not available

    问题原因 xff1a MAC新版本系统中移除了Times字体 导致JAVA运行出现问题 如图所示为需要安装的Times字体 解决方法 xff1a 重新安装TImes字体 下载地址
  • LIBTIFF读取tiff文件时,打印buf出错

    如图所示 xff0c 按照官网提供的例程读取tiff文件 xff0c 并打印读取的值时 xff0c 提示 xff1a Subscript of pointer to incomplete type 39 void 39 代码如下 xff1a
  • OHEM loss 源代码

    import numpy as np import torch import torch nn as nn class OhemCELoss nn Module def init self thresh ignore lb 61 255 s
  • git命令回退方法

    我们在使用git命令的时候 xff0c 有时候误输入命令 xff0c 导致需要回退到之前的状态 现在针对这种情况做一个汇总 xff1a 1 Git add回退 git status 先看一下add中的文件 xff0c 确定已经添加的文件 g
  • 思岚激光雷达A1使用

    1 使用思岚调试激光雷达测试软件 xff08 软件打开前和打开后雷达都是转动的 xff09 点击菜单栏上的扫面按钮 xff0c 扫描出周围的环境轮廓 方向和距离定义 测试完成 xff0c 关闭雷达测试软件 2 使用串口调试助手测试 测试A1
  • STM32读取MPU6050陀螺仪

    目录 一 硬件设计 1 模块说明 2 电气原理图 二 程序设计 1 工程创建 2 程序设计 xff08 1 xff09 main程序 xff08 2 xff09 IIC初始化 xff08 3 xff09 串口1配置 xff08 4 xff0
  • kalibr标定IMU

    kalibr标定IMU 必须明确的是 1 如何标定 2 标定的结果 3 如何验证标定结果的正确性 如何标定 标定所需文件 XX bag 包含有图片信息和IMU数据的ROS包 camchain yaml 包含相机的内参和畸变参数的文件 IMU
  • git diff和回退操作

    在git提交环节 xff0c 存在三大部分 xff1a working tree index file commit 这三大部分中 xff1a working tree xff1a 就是你所工作在的目录 xff0c 每当你在代码中进行了修
  • 基于Python socket利用TCP协议让上下位机 传输图片

    基于Python socket利用TCP协议让上下位机 传输图片 Notes 1 原理2 下位机代码 xff1a 3 上位机代码 xff1a Notes 之前用来做 基于QT 的物联网图形化软件的其中一个功能 xff0c 因为在这遇到过许多
  • Java中的final变量、final方法和final类

    1 final变量 final关键字可用于变量声明 xff0c 一旦该变量被设定 xff0c 就不可以再改变该变量的值 通常 xff0c 由final定义的变量为常量 例如 xff0c 在类中定义PI值 xff0c 可以使用如下语句 xff
  • 音视频开发技术的进阶路线

    1 音视频开发包括哪些内容 虽然一篇文章无法把音视频开发的知识点都介绍清楚 xff0c 但是大概的学习路线还是可以梳理一下的 xff0c 我们先看看下面这张图 xff1a 其实说白了 xff0c 音视频开发 xff0c 就是要掌握图像 音频

随机推荐

  • Ubuntu22.04应用程序启动时闪退

    Ubuntu22 04启动应用程序时闪退 xff0c 添加程序启动时参数解决 今天尝试在ubuntu安装QQ音乐 xff0c 安装后启动时弹出一下就闪退了 命令行启动程序 xff0c 报错 xff1a FATAL gpu data mana
  • STM32CubeMX上手初体验

    STM32CubeMX 提起嵌入式开发常用的IDE xff0c 你都用过哪些 xff1f 相信大家都用过keil xff0c 它上手简单 xff0c 许可证也可以通过众所周知的途径拿到 IAR有些小伙伴也用过 xff0c 它功能强大 xff
  • 学习ucosii要用到的几本书和软件

    原帖地址 xff1a http bbs ednchina com BLOG ARTICLE 2020186 HTM 打算学习一个嵌入式操作系统 xff0c 研究了一下决定还是先研究一下ucosii xff0c 一方面权当学习C语言 xff0
  • Linux防火墙——Firewalld基础命令

    Firewalld概述 Firewalld简介 xff08 1 xff09 支持网络区域所定义的网络连接以及接口安全的动态防火墙管理工具 xff08 2 xff09 支持IPv4 IPv6防火墙设置以及以太网桥接 xff08 3 xff09
  • 本地服务调用 K8S 环境中的 SpringCloud 微服务实战

    常规手段 xff1a 通过 service 访问对应的 pod 通常情况下 xff0c 从外部访问 kubernetes 内部 pod 服务的方法是创建 service xff0c 再通过访问 service 的方式来访问对应的 Pod x
  • Azure Redhat挂载盘操作导致重启后无法ssh登录

    问题 在Azure环境中创建了一台 Redhat VM xff0c 挂载了一块128GB新盘 xff0c 晚上stop后 xff0c 第二天start后无法ssh登录 发现问题过程 进入虚拟机信息页面 2 进入左侧 Support 43 T
  • KCF目标跟踪

    ROS调包侠 KCF目标跟踪 项目说明 参考项目 xff1a GitHub TianyeAlex tracker kcf ros 基于ros下应用深度相机的kcf追踪算法实现 修改内容 xff1a 1 解决原作者使用OpenCV版本比较老
  • 如何查看go依赖包的license (glice)

    Reference https github com ribice glice Installation Download and install glice by executing go install github com ribic
  • MINIO PutObject (erasureServerPools)源码分析

    实验环境 xff1a MINIO 源码版本 xff1a RELEASE 2021 04 22 minio server 后跟四块盘 一个erasureServerPool 1个erasureSet xff0c 4个Drives 2个Data
  • VNC 的应用及灰屏鼠标变X问题

    Ubuntu中vnc服务器端的安装很简单 xff0c 运行如下命令 xff1a sudo apt get install vnc4server 第一次启动vncserver后 xff0c 在用户家目录中会生成 vnc 目录 xff0c 注意
  • Intel VT-x enabled 却无法打开64位虚拟机

    情景 xff1a 机型 xff1a 联想 T430 前些天运行64位虚拟机没有问题 xff0c 今天打开却跳出无法执行64位操作 xff0c 很是诧异 便根据提示进行检查 BIOS中Virtual Technology 虚拟技术已打开 xf
  • Valgrind:failed to start tool 'memcheck' for platform 'x86-linux': No such file or directory

    引文 xff1a Valgrind安装与使用Ubuntu下添加环境变量方法 问题 通过 configure prefix 61 where you want to install将Valgrind安装到自己希望的目录安装Valgrind 3
  • hp z840 上安装ESXi

    ESXi安装 镜像下载 VMware viclient all 5 1 0 2306356 exe VMware ESXi 5 1 0 Update3 2323236 HP 510 9 4 24 Nov2015 iso VMware ESX
  • ESXi 6.0 中虚拟机拷贝(克隆)

    情况一 xff1a 拥有一台配置好的虚拟机 xff0c 想通过clone方式复制多台虚拟机来进行模糊测试 xff0c 但是vSphere Client 6 0没有提供克隆虚拟机功能 xff08 可能收费版拥有吧 xff09 解决方法 xff
  • Vmware 虚拟机瘦身

    问题 vmware 占用硬盘空间只增大不减少 即使删除虚拟机系统里面的文件 xff0c 占用宿主机的硬盘空间也不释放 导致虚拟机越来越大 xff01 方法一 xff1a 运用虚拟机自带的磁盘整理工具来进行磁盘清理 xff01 1 虚拟机 g
  • 从peach源码生成工程文件

    编译过程中几个软件 msvc Microsoft Visual C 43 43 often abbreviated as MSVC or VC 43 43 is an integrated development environment I
  • QT读取GPS信息,信息组包,防止异常错乱

    以下如果有错误 xff0c 请留言指正 GNRMC为双模定位 xff1a GPRMC 43 BD 读取 GNRMC经纬度信息 xff1b 含GPRMC xff1b 处理类似 GNRMC 064401 65 A 3110 4706987 N
  • 自定义数据结构(C++)

    1 动态数组 include lt iostream gt template lt typename T gt class MyVector T m p int m capacity int m size public 构造函数 expli
  • ubuntu20 下 qtcreator ros配置过程

    1 去下载qtcreator ros bionic latest offline installer run文件进行安装 xff1b 参考这里 xff1a How to Install Users ROS Qt Creator Plug i
  • 【竞赛记录】kpi异常检测

    搞了个华为的KPI异常检测竞赛 xff0c 当然搞的时候就没觉得自己会拿奖 xff08 我指安慰奖 xff09 xff0c 但没想到有这么悬殊 一方面是没搞过时间序列的东西 xff0c 好多东西要重新开始学 xff1b 另一方面是 xff0