数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。一般我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。它是一系列对数据操作的统称。
现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。
数据预处理有多种方法：
这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低挖掘所需要的时间。
本章总结在学习数据清洗–使用numpy包的相关内容
使用了四种创建数组的方法
#导入numpy包
import numpy as np
'''
使用np.array()生成NDarray
'''
arr1=np.array([1,3.14,-5,2,6.2,0],ndmin=1) #ndmin控制维数
#print(arr1)
arr2=np.array([[5,6,7,8,9],[4,3,2,1,0]])
#print(arr2)
'''
使用随机数函数生成array
'''
arr4=np.random.randint(10,size=(4,2)) #size指定形状4行2列
#print(arr4)
arr5=np.random.rand(2,3,4) #2,3,4 维度，轴。从0-1的均匀分布
#print(arr5)
arr6=np.random.uniform(size=(2,3))
#print(arr6)
arr7=np.random.uniform(1,10,size=(2,3)) #uniform默认0-1均匀分布，可以赋值通过参数控制随机生成范围
#print(arr7)
arr8=np.random.random((2,3))#随机生成[0,1)的浮点数 服从均匀分布。参数为元组
#print(arr8)
arr9=np.random.randn(2,3) #在维度上有多少元素，服从正态分布
#print(arr9)
'''
使用arange函数创建array
'''
arr10=np.arange(1,10,2)#起始值，终止值，步长。生成的默认是一维数组，如果想要生成多维，需要借助 .reshape((3,4))
#print(arr10)
arr11=np.arange(12).reshape((3,4))
#print(arr11)
'''
创建特殊数组函数
np.zeros() #全0数组
np.ones() #全1数组
np.full() #全n数组
np.linspace() #线性序列数组(元素之间等差)
np.eye() #单位矩阵数组
np.diag() #对角矩阵数组
'''
arr12=np.zeros(5) #填一个整数或元组
arr13=np.zeros((3,3),dtype=int) #可以用dtype改变数据类型
#print(arr13)
#ones和zeros使用方法一致
arr14=np.full((3,5),4) #shape 表示维数，一个整数或元组， 一个n值，全n数组。 也可以指定类型
#print(arr14)
arr15=np.linspace(1,10)#start,stop,num=50, retstep=False （不显示步长） 默认生成50个，包括终止值
#注意：.reshape()不能和restep同时使用
#print(arr15)
arr16=np.eye(3,4,1) #n 行 m 列 k 对角线偏移，>0向右上偏移，<0向左偏移
#print(arr16)
#对角和单位类似
'''
总结：指定数组内元素都是什么，指定形状是什么样的。
'''
#导入包
import numpy as np
'''
数组属性介绍
ndarray.shape 返回一个包含数组维度的元组
ndarray.dtype 返回数组元素的类型
ndarray.ndim 返回数组的维数
ndarray.size 返回数组中包含元素的个数
'''
np.random.seed(123)
arr8 = np.random.randn(6) # 一维数组
arr9 = np.random.randint(10, size=(2, 3)) # 二维数组
arr10 = np.random.randint(10, size=(2,3,4)) # 三维数组
print(arr8)
print(arr9)
print(arr10)
#查看数组的形状
print(arr8.shape)
print(arr9.shape)
print(arr10.shape)
#查看维度
print(arr8.ndim)
print(arr9.ndim)
print(arr10.ndim)
#查看数组中元素的类型
print(arr8.dtype)
print(arr9.dtype)
print(arr10.dtype)
#查看元素个数
print(arr8.size)
print(arr9.size)
print(arr10.size)
'''
numpy的矢量化功能
更简便的处理两个数组间元素的运算
原生的python列表做加法会拼接两个列表，想要实现元素的运算需要用循环。
'''
#原生的python列表
a=[1,2,3]
b=[4,5,6]
print(a+b)
c=[]
for i in range(len(a)):
c.append(a[i]+b[i])
print(c)
#numpy的array
arr1=np.array(a)
arr2=np.array(b)
print(arr1+arr2)
'''
优点：
简洁，易理解
代码越少，出错越低
执行效果更好，效率更高。numpy代码用C 比python效率更高
'''
#导入包
import numpy as np
'''
ndarray的各种变换操作
数组的维度变换 数组的类型变换 数组内元素类型变换
ndarray.reshape ndarray.tolist ndarray.astype
ndarray.resize
'''
arr=np.random.randint(1,100,(2,2))
print(arr)
#数组的维度变换
print(arr.reshape((4,1))) #参数为一个元组
#注意：数量不会变，不能改成（4，2）的数组
arr1=np.arange(1,10).reshape((3,3))
print(arr1)
arr2=np.linspace(1,10,12).reshape((3,4))
print(arr2)
#arange,linspace 只能定义一维可以借助reshape改变维度
arr.resize((1,4))
print(arr)
#注意：reshape不会改变原数组，如需要保留更改后结果，重新赋值变量。
#resize直接更改原数组，谨慎使用。
#数组的类型变换
print(arr.tolist())
list(arr)
#注意：想转列表使用tolist，想把列表转数组使用np.array(list)
#数组内元素类型变换
print(arr.dtype)
print(arr.astype(str))
print(arr.dtype)
#和reshape一样，不会更改原数组。
如果满足以下条件之一，那么数组被称为可广播的。
明显上面说的都不像我能懂的人话
所以给一张图做解释：
#导入包
import numpy as np
'''
广播功能
如果满足以下条件之一，那么数组被称为可广播的。
如果数组不具有相同的秩，则将较低等级数组的形状维度添加1，直到两个形状具有相同的大小.
其中一个数组的维度大小和元素个数为1，相当于对单个标量进行广播
在一个数组的大小为1且另一个数组的大小大于1的任何维度中，第一个数组的行为就像沿着该维
度复制一样
'''
#第一张图
arr=np.arange(3)
print(arr)
arr=np.arange(3)+5 #arr([0,1,2])+arr([5,5,5])
print(arr)
#第二张图
arr1=np.ones((3,3))
print(arr1)
arr2=np.ones((3,3))+np.arange(3)
print(arr2)
#第三张图
arr3=np.arange(3)
print(arr3)
arr4=np.arange(3).reshape((3,1))
print(arr4)
arr5=arr3+arr4
print(arr5)
'''
1.如果运算双方都是数组，形状不一致，一个数组经过向一个方向广播后，可以得到和另一个数组一样的形状，广播可行
2.如果运算双方都是数组，形状不一致，分别向各自一个方向广播，广播后得两个数组形状相同，广播可行
3.如果运算双方，一个是数组，一个是标量，不受广播方向约束，标量可以向两个方向广播
不满足条件的数组无法进行广播操作
'''
以上就是第一天学习数据清洗的相关内容，如果有疏漏希望大佬指正，蒟蒻会认真改进。