数据转换之数据清洗

一、实现对文本文件personnel_data.txt中的数据进行数据粒度的转换，即将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中。
（1）打开Kettle工具，新建转换
使用Kettle工具，创建一个转换generalization，并添加文本文件输入控件、表输入控件、字段选择控件、排序记录控件、记录集连接控件、表输出控件以及Hop跳连接线。

（2）配置文本文件输入控件



（3）配置字段选择控件
双击图中的“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称。

（4）配置排序记录控件
双击“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段household_register，对其进行排序。

（5）配置表输入控件
双击图中的“表输入”控件，进入“表输入”界面。单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。MySQL数据库连接的配置。

（6）配置排序记录2控件
双击图中的“排序记录 2”控件，进入“排序记录”界面，在“字段”框中添加字段city，并对其进行排序。

（7）配置记录集连接控件

（8）配置字段选择2控件
双击图中的“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接流中的字段household_register和pid。

（9）配置排序记录3控件
双击图中的“排序记录 3”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序。

（10）配置表输入2控件
双击图中的“表输入2”控件，进入“表输入2”界面。

（11）配置排序记录4控件
双击图中的“排序记录 4”控件，进入“排序记录”界面，在“字段”框中添加字段pid，并对其进行排序。

（12）配置记录集连接2控件

（13）配置字段选择3控件
双击图中的“字段选择3”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称，这里添加的是记录集连接2流中的字段household_register和Provincial。

（14）配置表输出控件
双击图中的“表输出”控件，进入“表输出”配置界面。
![在这里插入图片描述](https://img-blog.csdnimg.cn/20211022231120560.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzZGZnaGprbDA2MTA=,size_16,color_FFFFFF,t_70
（15）打开Kettle工具，新建转换
使用Kettle工具，创建一个转换generalization_merge，并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、文本文件输出控件以及Hop跳连接线。

（16）配置表输入控件
双击图中的“表输入”控件，进入“表输入”界面。


（17）配置字段选择控件
双击图中的“字段选择”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称。

（18）配置排序记录控件
双击图中的“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序。

（19）配置文本文件输入控件
双击图中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data.txt文件；单击【增加】按钮，将要抽取的personnel_data.txt文件添加到generalization_merge转换中。



（20）配置字段选择2控件
双击图中的“字段选择2”控件，进入“选择/改名值”界面，在“选择和修改”选项卡处添加字段名称。

（21）配置排序记录2控件
双击图中的“排序记录”控件，进入“排序记录”界面，并在“字段”框中添加字段id，对其进行排序。

（22）配置记录集连接控件

（23）配置字段选择3控件
双击图中的“字段选择3”控件，进入“字段选择”界面，在“选择和修改”选项卡处添加字段名称，并将字段household_register_new改为household_register。

（24）配置文本文件输出控件



（25）打开Kettle工具，新建作业
使用Kettle工具，创建一个作业generalization，并添加Start控件、转换控件、成功控件以及Hop作业项连接线。

（26）配置转换控件
双击图中的“转换”控件，进入“转换”界面，单击“Transformations”处的【浏览】按钮，选择添加转换generalization。

（27）配置转换2控件
双击图中的“转换2”控件，进入“转换”界面，单击“Transformations”处的【浏览】按钮，选择添加转换generalization_merge。

（28）运行作业generalization
单击作业工作区顶部的运行按钮，运行作业generalization，实现将文本文件personnel_data.txt中字段为household_register的数据统一成省份（直辖市），并输出到文本文件personnel_data_new.txt中。

二、对文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。
（1）打开Kettle工具，新建转换
使用Kettle工具，创建一个转换monthly_salary，并添加文本文件输入控件、增加常量控件、计算器控件、文本文件输出控件以及Hop跳连接线。

（2）配置文本文件输入控件
双击图中的“文本文件输入”控件，进入“文本文件输入”界面，单击【浏览】按钮，选择要抽取personnel_data_new.txt文件；单击【增加】按钮，将要抽取的personnel_data_new.txt文件添加到转换monthly_salary中。
在图中，单击“内容”选项卡，在分隔符处清除默认分隔符“；”，单击【Insert TAB】按钮，在分隔符处插入一个制表符。
在图中，单击“字段”选项卡，根据personnel_data_new.txt文件的内容添加对应的字段名称，并指定数据类型。


（3）配置增加常量控件
双击图中的“增加常量”控件，进入“增加常量”界面，在字段框中添加一个字段days，并给定一个值22。

（4）配置计算器控件
双击图中的“计算器”控件，进入“计算器”界面，在字段框中添加一个字段monthly_salary，用于存储月薪，该字段是由字段days和salary进行相乘所得。

（5）配置文本文件输出控件
双击图中的“文本文件输出”控件，进入“文本文件输出”界面，单击“文件名称”右侧的【浏览】按钮，选择输出文件，即文本文件personnel_data_monthly_salary；单击“内容”选项卡，进入“内容”界面，清除分隔符处的默认分隔符，单击【插入Tab】按钮，插入Tab分隔符，并在编码处的下拉框选择“UTF-8”编码；单击“字段”选项卡，进入“字段”界面，添加要输出的字段。



（6）运行转换monthly_salary
单击转换工作区顶部的运行按钮，运行转换monthly_salary，实现将文本文件personnel_data_new.txt中字段为salary的数据进行商务规则计算，即计算每个人的月薪（以22天工作日计算），最终输出到文本文件personnel_data_monthly_salary.txt中。从图中的执行结果来看，即每个控件的右上角均有“√”，则说明转换monthly_salary执行成功。