MapReduce是一种编程模型，用于大规模数据集的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。
mapreduce是hadoop中一个批量计算的框架，在整个mapreduce作业的过程中，包括数据的输入，数据的处理，这些部分，而其中数据的处理部分就要map，reduce，combiner等操作组成。在一个mapreduce的作业中必定会涉及到如下一些组件：
1、客户端，提交mapreduce作业
2、yarn资源管理器，负责集群上计算资源的协调
3、yarn节点管理器，负责启动和监控集群中机器上的计算容器（container）
4、mapreduce的application master，负责协调运行mapreduce的作业
5、hdfs，分布式文件系统，负责与其他实体共享作业文件
为什么需要mapreduce
(1) 海量数据在单机上处理因为硬件资源限制，无法胜任
(2)而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度
(3) 引入 MapReduce框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将 分布式计算中的复杂性交由框架来处理
其主要流程有以下几个步骤组成：
作业提交
第一步： 客户端通过调用job.waitForCompletion()方法向整个集群提交MapReduces任务； 第二步：
客户端通过getNewApplication方法向ResouceManager申请新应用，成功的话，ResourceManager会返回一个ApplicationId；
第三步：客户端根据ApplicationId在HDFS上创建一个文件夹用于复制作业需要的资源文件，包括jar程序包，配置文件，以及输入split；
第四步：客户端通过submitApplications方法向ResourceManager提交作业；
作业初始化：
第五步：ResourceManager在收到submitApplications请求后，会将该请求发送给scheduler(调度器)，调度器会分配一个container，用来运行MRAppMaster应用程序，该应用管理器由所在的nodeManager负责监控；
第六步： MRAppMaster会对作业进行初始化，创建一些bookkeeping对象来监控作业的进度，获得任务进度和完成报告
第七步：MRAppMaster会从HDFS上获取输入split，然后为每个split分配创建一个map任务；
资源分配
第八步：
MRAppMaster会根据Map和Reduce任务向ResorceManager申请container资源来运行这些任务；这些请求是通过心跳传输的，请求信息中包含Map和Reduce运行的数据块位置信息(如host和rack)，资源调度器收到请求后，会尽量将Map/Reduce任务分配到存储数据块的节点或者分配到存有输入split节点的机架上的其他节点；
任务执行
第九步：MRAppMaster会在资源调度器分配container后，联系对应的NodeManager启动container，运行一个YarnChlid的java应用程序；
第十步：YarnChild应用程序会从HDFS上获取jar文件，作业配置以及相应的资源文件； 第十一步：
YarnChild通过.jar程序运行对应的Map或者Reduce任务；
任务执行情况上报：
Yarn将任务的执行情况和状态(包括container)上报给MRAppMaster,客户端定时刷新任务状态；
作业完成
作业完成后，会将作业状态进行清理包括MRAppMaster和Container，以及OutputCommiter上的作业清理方法也将会被调用，最后作业的历史信息将会被存储以备查询；
在ser1上
1.编写配置文件
[ha@server1 ~]$ vim hadoop/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
2.定义变量
[ha@server1 ~]$ vim hadoop/etc/hadoop/hadoop-env.sh
export HADOOP_MAPRED_HOME=/home/yxx/hadoop
3.设置白名单
[ha@server1 ~]$ vim hadoop/etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
启动
这里报错是没有免密
[ha@server1 ~]$ hadoop/sbin/start-yarn.sh
Starting resourcemanager
resourcemanager is running as process 2674. Stop it first.
Starting nodemanagers
[ha@server1 ~]$ jps
3569 SecondaryNameNode
2674 ResourceManager
3715 Jps
3373 NameNode
实际中，将ResourceManager和nn分开，因为他俩都是cpu密集型的。
在所有的dn中，会打开一个NodeManager
[root@server2 ~]# jps
2577 Jps
2515 DataNode
2366 NodeManager
访问ser1的8088端口
