【pandas】dataframe中重复数据比较、筛选、去除等

2023-05-16

        当需要的是DataFrame那些重复数据,尤其是要比较重复数据的异同时,就需要将重复数据提取出来时,再关联原数据,并做排序,进行比较。

方法一、主要思路:

1. 采用drop_duplicates对数据去两次重,一次将重复数据保留一个(keep='first),另一次将重复数据全部去除(keep=False); 

2. 合并两者,并去重,得到重复的字段;

3、由重复的字段,得到原数据的重复所有数据,并进行排序,便于比较数据的异同;

        示例代码如下:

#获取重复的数据
import pandas as pd  
data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}
frame=pd.DataFrame(data)  
frame
 
a = frame.drop_duplicates(subset=['pop'],keep='first') #保留重复数据的第一个
 
b = frame.drop_duplicates(subset=['pop'],keep=False)  #去掉重复的数据
 
c = a.append(b).drop_duplicates(subset=['pop'],keep=False) #合并两者,再去掉重复的数据
 
data_cf = frame.loc[frame['pop'].isin(c['pop'])] ##获得了原数据的所有重复项
 
data_cf = data_cf.sort_values('pop',ascending=True) ##排序


方法二:

使用  pandas.duplicate()

代码如下:

##方法二、直接使  duplicate()
frame[frame.duplicated('pop')]  #返回boolean Series表示重复行,可选择仅考虑某些列

————————————————
来源:https://blog.csdn.net/m0_37235489/article/details/84584520

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【pandas】dataframe中重复数据比较、筛选、去除等 的相关文章

随机推荐