数据预处理-数据清洗之pandas库的简单使用

创建一个series

#导入包
import numpy as np

import pandas as pd

'''
创建series
'''
#通过数组创建一个series
np.random.seed(1234)
arr1=np.random.randint(1,10,5)
print(arr1)
ser1=pd.Series(arr1,index=['a','b','c','d','e'])
print(ser1)#index 指定索引，不指定则默认0 1 2 3 ...

#通过字典创建一个series
dict1={"a":1,"b":2,"c":3}
print(dict1)
ser2=pd.Series(dict1)
print(ser2)


#通过标量生成一个series
ser3=pd.Series(3,index=['a','b','c'])
print(ser3)
#一种类似广播的形式


'''
series常用属性
'''

#index
print(ser1.index)
#name
ser4=pd.Series(arr1,index=['a','b','c','d','e'],name='data')
print(ser4)
ser4.rename('haha',inplace=True)
#默认不在原数据更改，把inplace改成True就可以在原数据更改
print(ser4)

'''
series的特性
'''
#数组特性
#可以索引和切片，numpy有的操作pandas都可以
print(ser1)
print(ser1[0])
print(ser1[1:4])#切片不会得到最后一个元素
print(ser1[[1,3,4]])
print(ser1>6)
print(ser1[ser1>6])
#可以用一些numpy的函数
print(np.exp(ser1))

#字典特性
#可以通过索引标签获取和设置值
print(ser1['c'])
print(ser1['c':'e'])#标签可以获得最后一个元素
print(ser1[['a','c','d']])
ser1['a']=0#修改series的元素值
print(ser1)
print(ser1.get('b','找不着'))#默认找不到会返回None，可以手动设置

#矢量化和标签对齐
ser5=pd.Series([1,2,3,4,5],['a','b','c','d','e'])
print(ser1+ser5)
#基于标签对齐进行矢量化运算
ser6=pd.Series([1,2,3,4,5],['a','b','k','d','n'])
print(ser1+ser6)

创建一个DataFrame

#导入
import pandas as pd
import numpy as np

'''
创建DataFrame
pd.DataFrame(data=None,index=None,columns=None,dtype=None,copy=False)
'''
#通过数组创建DataFrame
np.random.seed(1234)
arr=np.random.randint(1,100,(3,7))
print(arr)
df=pd.DataFrame(arr,index=['a','b','c'],columns=['A','B','C','D','E','F','G'])
print(df)
#通过字典创建DataFrame
dict1={'员工姓名':['张三','李四','王五'],'销售业绩':[20000,30000,50000],'提成':[4000,6000,10000]}
df1=pd.DataFrame(dict1)
print(df1)
dict2={'员工姓名':pd.Series(['张三','李四','王五']),'销售业绩':pd.Series([20000,30000]),'提成':pd.Series([4000,6000,10000])}
df2=pd.DataFrame(dict2) #index写在上面的Series中
print(df2)

'''
DataFrame的列操作
'''

#增加列
df2['基本工资']=2500 #通过一个标量增加一整列
print(df2)
df2['创造收益']=df2['销售业绩']-df2['提成']-df2['基本工资'] #通过其他列运算增加一列
print(df2)
df2['是否达标']=df2['创造收益']>20000
print(df2)
df2['性别']=pd.Series(['女','男'],index=[0,2])
print(df2)
#insert 插入列

df2.insert(6,'年龄',[25,27,30])
print(df2)


#删除列
df2.pop('年龄')
print(df2)

del df2['性别']
print(df2)
#pop 和 del 直接在原数据上修改

df2.drop(columns=['是否达标']) #index删行，columns删列，默认是不在原数据更改. inplace=False
print(df2)

df2.drop(index=[0,1],inplace=True)
print(df2)

DataFrame的索引

#导入包
import pandas as pd
import numpy as np
'''
DataFrame的索引
'''
np.random.seed(1234)

dict2={'员工姓名':pd.Series(['张三','李四','王五']),'销售业绩':pd.Series([20000,30000]),'提成':pd.Series([4000,6000,10000])}
df2=pd.DataFrame(dict2) #index写在上面的Series中
print(df2)
df2['基本工资']=2500 #通过一个标量增加一整列
print(df2)
df2['创造收益']=df2['销售业绩']-df2['提成']-df2['基本工资'] #通过其他列运算增加一列
print(df2)
df2['是否达标']=df2['创造收益']>20000
print(df2)
df2['性别']=pd.Series(['女','男'],index=[0,2])
print(df2)
#insert 插入列

df2.insert(6,'年龄',[25,27,30])
print(df2)


#基于标签的索引(常用)
#df.loc[行索引信息，列索引信息] 
#如果只索引行信息，所有列信息都保留，索引语法中的索引列信息可以忽略
#如果只索引列信息，所有行信息都保留，索引语法中的索引行信息不可省略，写冒号加逗号表示行都保留
print(df2.loc[1])
print(df2.loc[1,"员工姓名":"创造收益"])
print(df2.loc[1:2])
df2.loc[3]=['小明',60000,12000,2500,np.nan,False,24,'男'] #增加一行
print(df2)

print(df2.loc[[0,1,3]])

print(df2.loc[:,['员工姓名','是否达标']])

#基于位置的索引
#df.iloc[行索引，列索引]
#如果只索引行信息，所有列信息都保留，索引语法中的索引列信息可以忽略
#如果只索引列信息，所有行信息都保留，索引语法中的索引行信息不可省略，写冒号加逗号表示行都保留

print(df2.iloc[1])
print(df2.iloc[1,[0,2]])

#布尔索引
print(df2[(df2.提成>=10000) | (df2.年龄<30)])

DataFrame的相关操作

#
import pandas as pd
import numpy as np

'''
DataFrame的相关操作
'''
'''
df.shape #查看数据框的形状
df.head(2) #查看数据框的前几行，默认前5行
df.tail(3) #查看数据框的结尾几行，默认后5行
df.index #查看行索引
df.columns #查看列索引
#查看数据框的详细信息
df.info()
#进行简单的描述统计
df.describe()
df.sort_index() #升序排序
df.sort_index(ascending=False) #降序排序
df.sort_values("销售业绩") #默认升序排序
df["工龄"] = [1,3,7,5,6,4,2]
df.sort_values(["销售业绩","工龄"]) #默认升序排序
df.sort_values(["销售业绩","工龄"],ascending=False) #降序排序
df.sort_values(["销售业绩","工龄"],ascending=[False,True]) #降序排序
'''

#创建数据
dict2={'员工姓名':pd.Series(['张三','李四','王五','瓜六']),'销售业绩':pd.Series([20000,30000,np.nan,20000]),'提成':pd.Series([4000,6000,10000,4000])}
df2=pd.DataFrame(dict2) #index写在上面的Series中
df2['基本工资']=2500 #通过一个标量增加一整列
df2['创造收益']=df2['销售业绩']-df2['提成']-df2['基本工资'] #通过其他列运算增加一列
df2['是否达标']=df2['创造收益']>20000
df2['性别']=pd.Series(['女','男','男'],index=[0,2,3])
#insert 插入列
df2.insert(6,'年龄',[25,27,30,27])
print(df2)
#缺失值处理
#1.查看缺失值
#df.isnull() 缺失值为True,非缺失值为False
print(df2.isnull())
#df.isnull().sum() True 1 False 0 可以用sum()统计数量
print(df2.isnull().sum())
#注意:查看比例
#两种方法，mean() sum()/shape[0]
print(df2.isnull().mean())
print(df2.isnull().sum()/df2.shape[0])
#查看一列的不同值数量
print(df2.性别.value_counts())
#2.处理缺失值
#(1)填充 
#fillna
#数值填充
print(df2.性别.fillna('男'))  #对单列填充
print(df2.fillna(df2.mean())) #使用均值填充
#函数方法填充
print(df2.fillna(method='ffill')) #向前填充
print(df2.fillna(method='bfill',limit=1)) #向后填充，用limit控制填充次数
#replace
#数值填充
print(df2.replace(np.nan,0)) #查找的值，要填充的值
print(df2.replace(np.nan,df2.median())) #用中位数填充
#函数方法填充
print(df2.replace(method='ffill')) #使用方法和fillna基本一致
#(2)删除
print(df2.dropna()) #默认的axis=0 即把有缺失值的行全删掉，可以更改为axis=1 对列进行操作
print(df2.dropna(axis=1))

'''
数据表合并
pd.concat()
pd.merge()
'''
#假设有两个表
df_1=df2.iloc[:2]
df_2=df2.iloc[2:]
print(df_1)
print(df_2)
#pd.concat()擅长上下拼接
print(pd.concat([df_1,df_2],keys=['df_1','df_2'])) #直接拼接
#创建两个部门的表，不同部门提供的表中的人可能重复
df_s=df2.iloc[:,0:4]
df_p=df2.iloc[:,[0,4,5,6,7]]
print(df_s)
print(df_p)
print(pd.concat([df_s,df_p],axis=1,keys=['df_s','df_p'],names=['来源','索引'])) #keys可以显示数据来自哪个表
#pd.merge()擅长左右拼接
print(pd.merge(df_s,df_p,on='员工姓名')) #不写on也可以拼接，默认找相同列拼接。
#如果没有相同列名
#可以采用 pd.merge(left,right,left_on='',right_on='')

'''
分组运算
df.groupby()
'''
gp1=df2.groupby('性别')
print(len(gp1)) #分类数
print(gp1.size()) #查看分组数据
print(gp1.mean())
print(gp1['销售业绩'].mean()) #可对单列操作
gp2=df2.groupby(['性别','是否达标'],as_index='False') #as_index 设置是否作为索引
print(gp2.size())
#agg()
print(gp1['销售业绩'].agg([np.mean,np.std]).rename(columns={'mean':"平均",'std':'标准差'})) #改个名字
print(gp1.agg({'销售业绩':np.mean,'提成':np.std})) #agg可以使用字典赋值，实现对不同列不同聚合方法
'''
数据透视表
pd.pivot_table()
'''
print(pd.pivot_table(df2,values='创造收益',index='员工姓名',columns='年龄')) #默认聚合为mean
print(pd.pivot_table(df2,values='创造收益',index='员工姓名',columns='年龄',aggfunc=np.sum)) #改成求和
print(pd.pivot_table(df2,values=['创造收益','销售业绩'],index=['员工姓名','性别'],columns=['年龄','是否达标'],aggfunc=[np.sum,np.mean]))

'''
数据的读入和导出
pd.read_csv()
pd.read_excel()
df.to_csv()
df.to_excel()
'''
#读取.csv .txt 都使用pd.read_csv()
df_test=pd.read_csv('D:/TestFile/from.txt',sep=',') #如果在同目录下写文件名，不然写路径 sep指定分隔符，默认',' 
print(df_test)
df_test1=pd.read_excel('D:/code/python/销售数据.xlsx',sheet_name=0) #sheet_name 指定工作表 
print(df_test1)
df2.to_csv('D:/code/python/测试数据.csv',encoding='utf-8')
df2.to_csv('D:/code/python/测试数据.txt',encoding='utf-8')
df2.to_excel('D:/code/python/测试数据.xlsx',encoding='utf-8',sheet_name='员工表')