MapReduce 开发总结 (月薪过万)
在编写MapReduce程序时，需要考虑如下几个方面：
1、输入数据接口：InputFormat (月薪过万)
- 默认使用的实现类是：TextInputFormat
- TextInputFormat 的功能逻辑是：一次读一行文本，然后将该行的起始偏移量作为key，行内容作为 value 返回。
- CombineTextInputFormat 可以把多个小文件合并成一个切片处理，提高处理效率。
2、逻辑处理接口：Mapper (月薪过万)
用户根据业务需求实现其中三个方法：map() setup() cleanup ()
3、Partitioner 分区 (月薪过万)
- 有默认实现 HashPartitioner，逻辑是根据 key 的哈希值和 numReduces 来返回一个
分区号；key.hashCode()&Integer.MAXVALUE % numReduces
- 如果业务上有特别的需求，可以自定义分区。
4、Comparable 排序 (月薪过万)
- 当我们用自定义的对象作为 key 来输出时，就必须要实现 WritableComparable 接口，重写其中的 compareTo()方法。
- 部分排序：对最终输出的每一个文件进行内部排序。
- 全排序：对所有数据进行排序，通常只有一个 Reduce。
- 二次排序：排序的条件有两个。
5、Combiner 合并 (月薪过万)
- Combiner 合并可以提高程序执行效率，减少 IO 传输。但是使用时必须不能影响原有的业务处理结果。
6、逻辑处理接口：Reducer (月薪过万)
1)用户根据业务需求实现其中三个方法：reduce() setup() cleanup ()
7、输出数据接口：OutputFormat (月薪过万)
- 默认实现类是 TextOutputFormat，功能逻辑是：将每一个 KV 对，向目标文本文件输出一行。
- 用户还可以自定义 OutputFormat。
