MapReduce是一种编程模型。Hadoop MapReduce采用Master/slave 结构。只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序。核心思想是：分而治之。Mapper负责分，把一个复杂的业务，任务分成若干个简单的任务分发到网络上的每个节点并行执行，最后把Map阶段的结果由Reduce进行汇总，输出到HDFS中，大大缩短了数据处理的时间开销。MapReduce就是以这样一种可靠且容错的方式进行大规模集群海量数据进行数据处理，数据挖掘，机器学习等方面的操作。
分布式计算将该应用分解成许多小的部分，分配给多台计算机节点进行处理。这样可以节约整体计算时间，大大提高计算效率。
移动计算是随着移动通信、互联网、数据库、分布式计算等技术的发展而兴起的新技术。移动计算它的作用是将有用、准确、及时的信息提供给任何时间、任何地点的任何客户（这里我们说的是将计算程序应用移动到具有数据的集群计算机节点之上进行计算操作）。
MapReduce整体上依旧是主从架构，map加redu（reduce简写）。 map、split入磁盘，数据对分partition。shuffle、sort、key-value，一个redu（reduce）一 tion（partition）透。一个reduce解析一个partition。
MapReduce1.x架构包含四个组成部分，分别为Client，JobTracker，TaskTracker，Task。其中：
MapReduce2.x架构图如下，可以看到JobTracker和TaskTracker已经不复存在了，取而代之的是ResourceManager和NodeManager。不仅架构变了，功能也变了，2.x之后新引入了YARN，在YARN之上我们可以运行不同的计算框架，不再是1.x那样只能运行MapReduce了：
详情请参见前一小节 YARN。
Mapper负责“分”，即把得到的复杂的任务分解为若干个“简单的任务”执行，既：数据或计算规模相对于原任务要大大缩小；就近计算，即会被分配到存放了所需数据的节点进行计算；这些小任务可以并行计算，彼此间几乎没有依赖关系。Mapper阶段的主要流程：
第一阶段 getSplits：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认情况下，Split size = Block size，每一个切片由一个MapTask 处理；
Split规则：max.split(100M)、min.split(10M)、block(64M)——max(min.split,min(max.split,block))，一般默认split实际=block大小；
第二阶段 TextInputFormat：对切片中的数据按照一定的规则解析成<key,value>对，默认规则是key为每一行的起始位置（即字节），value是本行的文本内容；
第三阶段 map()：上一阶段的每个键值对都调用一次Mapper类中的map方法，会输出零个或者多个键值对；
第四阶段 partition：按照一定的规则对第三阶段输出的键值对进行分区。默认是只有一个区，分区的数量就是 Reducer 任务运行的数量；
第五阶段 sort：对每个分区中的键值对进行排序。首先，按照键进行排序，对于键相同的键值对，按照值进行排序；如果有第六阶段，则进入第六阶段；如果没有，直接输出到本地的linux 文件中；
第六阶段 Combiner：如果client设置过Combiner，那么现在就是使用Combiner的时候了。将有相同key的key/value对的value加起来，减少溢写到磁盘的数据量，combiner简单说就是map端的reduce！
第七阶段 Merge：每一个map任务有一个环形Buffer，这个缓冲区的大小是100MB，每当缓冲区到达上限80%的时候，就会启动一个Spill(溢写)进程，它的作用是把内存里的map task的结果写入到磁盘，多个溢写文件会最终合并到一起。
Reduce的任务是对map阶段的结果进行“汇总”并输出。Reducer的数目由mapred-site.xml配置文件里的项目mapred.reduce.tasks决定。缺省值为1，用户可以覆盖之。Reduce阶段的主要流程：
Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。这是一个在mapper和reducer中间的一个步骤，可以把mapper的输出按照某种key值重新切分和组合成n份，把key值符合某种范围的输出送到特定的reducer那里去处理。
但从上图来看会依然无法理解Shuffle阶段具体实施，所以分析如下：
Shuffle阶段具体划分：
在Map端的shuffle过程就是对Map的结果进行分区、排序、分割，然后将属于同一个分区的输出合并在一起并写在磁盘上，最终得到一个分区有序的文件。分区有序的含义是Map输出的键值对按分区进行排列，具有相同partition值的键值对存储在一起，每个分区里面的键值对又按key值进行升序排序(默认)，大致流程如下：
在Reduce端的shuffle过程是要对Map Shuffle的结果进行领取数据 、归并数据 、数据输入给Reduce任务；Reduce任务通过RPC向JobTracker询问Map任务是否已经完成，若完成，则领取数据，Reduce领取数据先放入缓存，来自不同Map机器，先归并，再合并，写入磁盘 多个溢写文件归并成一个或多个大文件，文件中的键值对是排序的当数据很少时，不需要溢写到磁盘，直接在缓存中归并，然后输出给Reduce处理，大致流程如下：
延续之前hadoop HA高可用的配置，事先停止HA 集群（yarn、dfs、zookeeper），并加入新的配置：
1）、配置 etc/hadoop/mapred-site.xml文件：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2）、配置 etc/hadoop/yarn-site.xml文件：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>mr_shsxt</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node02</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node03</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
3）、测试启动