数据预处理的过程
数据预处理的目的：
1）提高数据质量
2）让数更好地适应特定的挖掘技术或工具
数据预处理工作量占整个数据挖掘工作量的60%
数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值等。
常用的三种缺失值处理方法：
删除记录：
不处理：
数据插补：
| 插补方法 | 方法描述 |
|---|---|
| 均值/中位数/众数插补 | 根据属性值的类型，用该属性取值的平均数/中位数/众数进行插补 |
| 使用固定值 | 将缺失的属性值用一个常量替换 |
| 最近临插补 | 在记录中找到与缺失样本最接近的样本的该属性作为插补 |
| 回归方法 | 对带有缺失值的变量，根据已有数据与其有关的其他变量的数据建立拟合模型来预测缺失值的属性值 |
| 插值法 | 利用已知点建立合适的插值函数f(x)，未知值由对应点xi求出的函数值f(xi)近似替代。常用插值法有拉格朗日插值、hermite插值、分段插值、样条插值 |
常用的异常值处理方法：
| 异常值处理方法 | 方法描述 |
|---|---|
| 删除含有异常值的记录 | 直接将含有异常值的记录删除 |
| 视为缺失值 | 利用缺失值的处理方法进行处理 |
| 平均值修正 | 可用前后两个观测值的平均值修正该异常值 |
| 不处理 | 直接在具有异常值的数据集上进行挖掘建模 |
注意：有些异常值可能蕴含着有用的信息，因此，要先分析异常值出现的可能原因，再判断是否应该舍弃。例如：信用卡盗刷
数据集成是将多个数据源合并存放在一个一致的数据存储位置中的过程。
注意：来自多个数据源的现实实体的表达形式是不一样的，有可能不匹配，要考虑实体识别问题和属性冗余问题，从而将源数据在最底层上加以转换、提炼和集成。
主要处理方法：
实体识别从不同数据源识别出现实世界的实体，它的任务是统一不同源数据的矛盾之处。
常见的实体识别如下：
有些冗余属性可以用相关分析检测。给定两个数值型的属性A和属性B，根据其属性值，用相关系数度量一个属性在多大程度上蕴含另一个属性。
数据变换主要是对数据进行规范化处理，将数据转换成“适当的”形式，以适用于数据挖掘任务及算法的需要。
常见的变换有：
常见的规范化方法：
最小-最大规范化：离差标准化
x ∗ = x − min max − min x^{*}=\frac{x-\min }{\max -\min } x∗=max−minx−min
优点：保留原来数据中存在的关系，方法简单。缺点：若数值集中且某个数值很大，则规范后各值会接近于0，并且相差不大。若将来遇到超过[min,max]的属性值时，会引起系统错误，需要重新确定min和max。
零-均值规范化：标准差标准化
x ∗ = x − x ‾ δ x^{*}=\frac{x-\overline{\mathrm{x}}}{\delta} x∗=δx−x
x ‾ \overline{\mathrm{x}} x为原始数据均值，
