Pandas必会的方法汇总,用Python做数据分析更加如鱼得水!(附代码)

2023-11-10

用Python做数据分析光是掌握numpy和matplotlib可不够,Pandas是必须要掌握的一个重点,numpy虽然能够帮我们处理处理数值型数据,但是这还不够,很多时候,我们的数据除了数值之外,还有字符串,还有时间序列等。

今天来分享一些Pandas必会的用法,让你的数据分析水平更上一层楼。图片

一、Pandas两大数据结构的创建

序号 方法 说明
1 pd.Series(对象,index=[ ]) 创建Series。对象可以是列表\ndarray、字典以及DataFrame中的某一行或某一列
2 pd.DataFrame(data,columns = [ ],index = [ ]) 创建DataFrame。columns和index为指定的列、行索引,并按照顺序排列

举例:用pandas创建数据表:

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],  "date":pd.date_range('20130102', periods=6),  "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], "age":[23,44,54,32,34,32], "category":['100-A','100-B','110-A','110-C','210-A','130-F'],  "price":[1200,np.nan,2133,5433,np.nan,4432]},  columns =['id','date','city','category','age','price'])

二、DataFrame常见方法

序号 方法 说明
1 df.head() 查询数据的前五行
2 df.tail() 查询数据的末尾5行
3 pandas.qcut() 基于秩或基于样本分位数将变量离散化为等大小桶
4 pandas.cut() 基于分位数的离散化函数
5 pandas.date_range() 返回一个时间索引
6 df.apply() 沿相应轴应用函数
7 Series.value_counts() 返回不同数据的计数值
8 df.reset_index() 重新设置index,参数drop = True时会丢弃原来的索引,设置新的从0开始的索引,常与groupby()一起用

举例:重新索引

df_inner.reset_index()

三、数据索引

序号 方法 说明
1 .values 将DataFrame转换为ndarray二维数组
2 .append(idx) 连接另一个Index对象,产生新的Index对象
3 .insert(loc,e) 在loc位置增加一个元素
4 .delete(loc) 删除loc位置处的元素
5 .union(idx) 计算并集
6 .intersection(idx) 计算交集
7 .diff(idx) 计算差集,产生新的Index对象
8 .reindex(index, columns ,fill_value, method, limit, copy ) 改变、重排Series和DataFrame索引,会创建一个新对象,如果某个索引值当前不存在,就引入缺失值。
9 .drop() 删除Series和DataFrame指定行或列索引。
10 .loc[行标签,列标签] 通过标签查询指定的数据,第一个值为行标签,第二值为列标签。
11 df.iloc[行位置,列位置] 通过默认生成的数字索引查询指定的数据。

举例:按索引提取单行的数值

df_inner.loc[3]

四、DataFrame选取和重新组合数据的方法

序号 方法 说明
1 df[val] 从DataFrame选取单列或一组列;在特殊情况下比较便利:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值)
2 df.loc[val] 通过标签,选取DataFrame的单个行或一组行
3 df.loc[:,val] 通过标签,选取单列或列子集
4 df.1oc[val1,val2] 通过标签,同时选取行和列
5 df.iloc[where] 通过整数位置,从DataFrame选取单个行或行子集
6 df.iloc[where_i,where_j] 通过整数位置,同时选取行和列
7 df.at[1abel_i,1abel_j] 通过行和列标签,选取单一的标量
8 df.iat[i,j] 通过行和列的位置(整数),选取单一的标量
9 reindex 通过标签选取行或列
10 get_value 通过行和列标签选取单一值
11 set_value 通过行和列标签选取单一值

举例:使用iloc按位置区域提取数据

df_inner.iloc[:3,:2] #冒号前后的数字不再是索引的标签名称,而是数据所在的位置,从0开始,前三行,前两列。

五、排序

序号 函数 说明
1 .sort_index(axis=0, ascending=True) 根据指定轴索引的值进行排序
2 Series.sort_values(axis=0, ascending=True) 只能根据0轴的值排序。
3 DataFrame.sort_values(by, axis=0, ascending=True) 参数by为axis轴上的某个索引或索引列表。

举例:按照索引列排序

df_inner.sort_index()

六、相关分析和统计分析

序号 方法 说明
1 .idxmin() 计算数据最小值所在位置的索引(自定义索引)
2 .idxmax() 计算数据最大值所在位置的索引(自定义索引)
3 .argmin() 计算数据最小值所在位置的索引位置(自动索引)
4 .argmax() 计算数据最大值所在位置的索引位置(自动索引)
5 .describe() 针对各列的多个统计汇总,用统计学指标快速描述数据的概要
6 .sum() 计算各列数据的和
7 .count() 非NaN值的数量
8 .mean( ) 计算数据的算术平均值
9 .median() 计算算术中位数
10 .var() 计算数据的方差
11 .std() 计算数据的标准差
12 .corr() 计算相关系数矩阵
13 .cov() 计算协方差矩阵
14 .corrwith() 利用DataFrame的corrwith方法,可以计算其列或行跟另一个Series或DataFrame之间的相关系数。
15 .min() 计算数据的最小值
16 .max() 计算数据的最大值
17 .diff() 计算一阶差分,对时间序列很有效
18 .mode() 计算众数,返回频数最高的那(几)个
19 .mean() 计算均值
20 .quantile() 计算分位数(0到1)
21 .isin() 用于判断矢量化集合的成员资格,可用于过滤Series中或DataFrame列中数据的子集
22 .unique() 返回一个Series中的唯一值组成的数组。
23 .value_counts() 计算一个Series中各值出现的频率。

举例:判断city列的值是否为北京

df_inner['city'].isin(['beijing'])

七、分组的方法

序号 方法 说明
1 DataFrame.groupby() 分组函数
2 pandas.cut() 根据数据分析对象的特征,按照一定的数值指标,把数据分析对象划分为不同的区间部分来进行研究,以揭示其内在的联系和规律性。

举例:.groupby用法

group_by_name=salaries.groupby('name') print(type(group_by_name))

输出结果为:

<class 'pandas.core.groupby.DataFrameGroupBy'>

八、读写文本格式数据的方法

序号 方法 说明
1 read_csv 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号
2 read_table 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符(t)
3 read_ fwf 读取定宽列格式数据(也就是说,没有分隔符)
4 read_clipboard 读取剪贴板中的数据,可以看做read_table的剪贴板版。再将网页转换为表格时很有用
5 read_excel 从ExcelXLS或XLSXfile 读取表格数据
6 read_hdf 读取pandas写的HDF5文件
7 read_html 读取HTML文档中的所有表格
8 read_json 读取JSON字符串中的数据
9 read_msgpack 二进制格式编码的pandas数据
10 read_pickle 读取Python pickle格式中存储的任意对象
11 read_sas 读取存储于SAS系统自定义存储格式的SAS数据集
12 read_sql 读取SQL 查询结果为pandas的DataFrame
13 read_stata 读取Stata文件格式的数据集
14 read_feather 读取 Feather二进制文件格式

举例:导入CSV或者xlsx文件

df = pd.DataFrame(pd.read_csv('name.csv',header=1))df = pd.DataFrame(pd.read_excel('name.xlsx'))

九、处理缺失数据

序号 方法 说明
1 .fillna(value,method,limit,inplace) 填充缺失值
2 .dropna() 删除缺失数据
3 .info() 查看数据的信息,包括每个字段的名称、非空数量、字段的数据类型
4 .isnull() 返回一个同样长度的值为布尔型的对象(Series或DataFrame),表示哪些值是缺失的

举例:查看数据表基本信息(维度、列名称、数据格式等等)

df.info()

十、数据转换

序号 方法 说明
1 .replace(old, new) 用新的数据替换老的数据,如果希望一次性替换多个值,old和new可以是列表。默认会返回一个新的对象,传入inplace=True可以对现有对象进行就地修改。
2 .duplicated() 判断各行是否是重复行,返回一个布尔型Series。
3 .drop_duplicates() 删除重复行,返回删除后的DataFrame对象。

举例:删除后出现的重复值:

df['city'].drop_duplicates()

结语

文章中总结的是都是一些Pandas常用的方法,至于一些基础的概念还需要你学到Pandas的时候去理解,例如Series是什么?DataFrame是什么?如果你已经清楚了Pandas的这些基础东西之后,搭配上文章中的这些方法,那你用Pandas去做数据处理和分析必然会游刃有余。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、机器学习等习教程。带你从零基础系统性的学好Python!

一、Python学习大纲

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

二、Python必备开发工具

在这里插入图片描述

三、入门学习视频

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。在这里插入图片描述

五、python副业兼职与全职路线

在这里插入图片描述

上述这份完整版的Python全套学习资料已经上传CSDN官方,朋友们如果需要可以微信扫描下方CSDN官方认证二维码 即可领取↓↓↓

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Pandas必会的方法汇总,用Python做数据分析更加如鱼得水!(附代码) 的相关文章

随机推荐

  • FastCGI sent in stderr: “Primary script unknown“ while reading response header from upstream问题解决

    error 1439 1439 5 FastCGI sent in stderr Primary script unknown while reading response header from upstream php对接nginx的配
  • wifi 概念

    wifi 的一些概念 转载 http blog csdn net eager7 article details 8117600 python view plain copy 1 什么是WIFI Wi Fi 原先是无线保真的缩写 Wi Fi
  • html中哪些是行内元素,html行内元素有哪些

    html行内元素有 a b u span img input strong select sub sup label em button textarea tt var samp br cite code font strike等等 本教程
  • layui文件上传后台(带自定参数)

    记录layui文件上传方法 前端页面直接看layui文件上传相关文档就行 主要是记录后端Java接收上传流并保存的方法 layui文档 https www layui com doc modules upload html 因为该方法使用M
  • [BSidesSF2019]goodluks

    BSidesSF2019 goodluks 考点 题解过程 flag 考点 1 EFF 骰子密码 2 Linux删除的文件恢复 3 LUKS加密 题解过程 开局给了一张图片和一个img的文件 首先使用查看镜像的文件内容 是一个MBR的启动项
  • matlab非线性规划

    1 非线性规划matlab函数 非线性规划函数的约束函数和目标函数至少有一个是非线性函数 而对比于线性规划的区别也就一眼识别了 MATLAB中用于求解非线性规划的函数为fmincon 其调用格式如下 x fmincon f x0 A b x
  • java调用webservice接口 几种方法

    webservice的 发布一般都是使用WSDL web service descriptive language 文件的样式来发布的 在WSDL文件里面 包含这个webservice暴露在外面可供使用的接口 今天搜索到了非常好的 webs
  • python数据预处理之缺失值的各种填补方式

    如果你觉得文字看着枯燥 可以看配套讲解视频 讲解视频 对于数据挖掘的缺失值的处理 应该是在数据预处理阶段应该首先完成的事 缺失值的处理一般情况下有三种方式 1 删掉缺失值数据 2 不对其进行处理 3 利用插补法对数据进行补充 第一种方式是极
  • 修改 bootargs 方式增加分区(mtd分区和blkdevparts分区)

    1 Linux内核设置分区的两种方式 1 1 内核代码中写死 在内核的平台代码中写死 然后在初始化NandFlash的时候设置 1 2 uboot通过bootargs传递分区表 1 u boot将分区信息 形如 mtdparts xxx b
  • 机器学习之逻辑回归,代码实现(附带sklearn代码,小白版)

    文章目录 前言 一 逻辑回归能够解决什么 二 公式 三 激活函数 四 如何求得w 六 逻辑回归代码实现 五 sklearn demo 总结 前言 虽然名字带有回归 但实际上是一个常用的二分类算法 并且在预测的时候能够提供预测类别的概率 一
  • antd中Form.useForm()使用方式

    这里写自定义目录标题 onRow 表单Form useForm onRow table table record 点击后获取的数据对象 onRow record gt return event获取当前列元素节点 可用 event targe
  • 聚类算法4——DBSCAN密度聚类(算法步骤及matlab代码)

    看了西关书的聚类算法 算法原理很容易明白 接下来就是整理成自己的理解思路 然后一步一步来实现算法 那么就来做吧 DensityClustering算法 概念 从样本密度的角度考察样本之间的可连接性 样本分布的紧密程度刻画聚类结构 术语 核心
  • el-table实现指定列合并

    table传入span method方法可以实现合并行或列 方法的参数是一个对象 里面包含当前行row 当前列column 当前行号rowIndex 当前列号columnIndex四个属性 该函数可以返回一个包含两个元素的数组 第一个元素代
  • Datax-HdfsWriter如何实现支持decimal类型数据写入

    一 问题背景 之前在做Datax数据同步时 发现源端binary decimal等类型的数据无法写入hive字段 看了一下官网文档 DataX HdfsWriter 插件文档 是1 2年前的 当初看过部分源码其实底层hadoop是支持这些类
  • 摸鱼周报年终总结

    今年摸鱼周报的发展超出预期的顺利 离不开各位编辑小伙伴的帮助和读者的支持 非常感谢大家 到了年后最后一周就休刊一期发一个总结吧 今年有很多有趣的事值得再回顾下 编程学习资料点击免费领取 梦开始的地方 最开始的想法 开始写摸鱼周报是因为社群建
  • 华为OD机试 - 字符串变换最小字符串 - (Java 2022Q4 100分)

    目录 一 题目描述 二 输入描述 三 输出描述 四 解题思路 五 Java算法源码 六 效果展示 1 输入 2 输出 华为OD机试 2023B卷题库疯狂收录中 刷题点这里 一 题目描述 给定一个字符串s 最多只能进行一次变换 返回变换后能得
  • 数据分析和可视化必备的几大软件,你用过几个?

    本文主要是面向数据分析初学者 因此分享的基本是一些免编程的可视化工具 详细介绍了7款工具 推荐大家使用 主要是让初学数据分析的朋友知道可视化工具大概有哪些 流行的有哪些 Power BI Power BI是微软开发的商业分析工具 用户可以在
  • 单片机与电脑接口(TTL与RS232电平模拟转换)电路及工作原理分析

    RS232接口概述 RS232接口又称DB9接口 是现在主流的串行通信接口之一 由于RS232接口标准出现较早 难免有不足之处 主要有以下四点 1 接口的信号电平值较高 易损坏接口电路的芯片 又因为与TTL电平不兼容故需使用电平转换电路方能
  • Hibernate缓存机制

    原文地址 http www iteye com topic 249465 缓存是位于应用程序与物理数据源之间 用于临时存放复制数据的内存区域 目的是为了减少应用程序对物理数据源访问的次数 从而提高应用程序的运行性能 Hibernate在查询
  • Pandas必会的方法汇总,用Python做数据分析更加如鱼得水!(附代码)

    用Python做数据分析光是掌握numpy和matplotlib可不够 Pandas是必须要掌握的一个重点 numpy虽然能够帮我们处理处理数值型数据 但是这还不够 很多时候 我们的数据除了数值之外 还有字符串 还有时间序列等 今天来分享一