Hadoop源码分析——JobClient

2023-05-16

1. MapReduce作业处理过程概述

当用户使用Hadoop的Mapreduce计算模型来进行处理问题时，用户只需要定义所需的Mapper和Reduce处理函数，还有可能包括的Combiner、Comparator、Partition等函数；之后，新建一个Job对象，并Job的运行环境进行相应的配置，最后调用Job的waitForCompletion或者submit方法提交作业。具体代码结构如下：

//新建默认的Job配置对象
Configuration conf = new Configuration(true);
conf.set("fs.defaultFS", "hdfs://node02:8020");//远程提交设置HDFS主机域名及端口号
conf.set("yarn.resourcemanager.hostname", "node02:8088");//远程提交设置yarn主机域名及端口号
//根据配置对象创建一个Job对象
Job job = Job.getInstance(conf);
//hadoop通过指定类名找到包含该类的jar
job.setJarByClass(主类名.class);
job.setMapperClass(Mapper实现类.class);
job.setCombinerClass(作为Combiner的Reducer实现类.class);//如果需要才会设置
job.setReducerClass(Reducer实现类.class);
job.setOutputKeyClass(输出key的数据类型.class);
job.setOutputValueClass(输出value的数据类型.class);
//input,output
Path input = new Path("设置作业的输入路径");
FileInputFormat.addInputPath(job, input);
Path output = new Path("设置作业的输出路径");
FileOutputFormat.setOutputPath(job, output );
//将作业交给集群处理
job.waitForCompletion(true);

job的waitForCompletion方法内部实际上是依靠JobClient来向JobTracker来提交作业的。当JobTracker接收到JobClient的提交作业的请求后，将会作业加入到作业队列中，之后会返回给JobClient一个用于唯一标识该作业的JobID对象。JobTracker作业队列中的作业任务会由TaskTracker来执行。TaskTracker会定期向JobTracker发送心跳，查询JobTracker是否有作业需要执行。当TaskTracker接收到任务之后，会在本地启动一个Task来执行任务。

2. MapReduce作业的配置信息——JobConf

JobConf所在的包位于org.apache.hadoop.mapred。该类集成自Configuration，它在原有的Hadoop的Configuration基本信息的基础上加入了与MapReduce作业相关的配置信息。Job继承自JobContext类，而JobContext中有个protected final org.apache.hadoop.mapred.JobConf conf的成员变量，所以Job内部会调用JobConf的方法来完成该MapReduce作业的配置，比如Job中setInputFormatClass设置作业输入格式的方法：

  public void setInputFormatClass(Class<? extends InputFormat> cls
                                  ) throws IllegalStateException {
    ensureState(JobState.DEFINE);
    conf.setClass(INPUT_FORMAT_CLASS_ATTR, cls, 
                  InputFormat.class);
  }

2.1 静态代码块

  static{
    ConfigUtil.loadResources();
  }

2.2 成员变量

//标识用于运行Mapper或Reducer任务的内存是否受限制，默认-1不受限制
public static final long DISABLED_MEMORY_LIMIT = -1L;
//与mapred.local.dir配置项对于的常量字符串
public static final String MAPRED_LOCAL_DIR_PROPERTY = MRConfig.LOCAL_DIR;
//用于设置Job将被默认提交到的队列的名称，默认default
public static final String DEFAULT_QUEUE_NAME = "default";
//用于设置运行Mapper任务的内存大小配置项
static final String MAPREDUCE_JOB_MAP_MEMORY_MB_PROPERTY = JobContext.MAP_MEMORY_MB;
//用于设置运行Reducer任务的内存大小配置项
static final String MAPREDUCE_JOB_REDUCE_MEMORY_MB_PROPERTY = JobContext.REDUCE_MEMORY_MB;
//运行Mapper和Reducer的默认选项，默认只会设置堆内存的最大值为200MB
public static final String DEFAULT_MAPRED_TASK_JAVA_OPTS = "-Xmx200m";
.....

2.3 成员方法

该类的大部分方法都是用于设置和获取与该作业相关的配置项的set和get方法，此外还有几个工具方法：

public static String findContainingJar(Class my_class) {
    //调用工具类的方法  
    return ClassUtil.findContainingJar(my_class);
}
/*
 * ClassUtil工具类
 */
public class ClassUtil {
  public static String findContainingJar(Class<?> clazz) {
      //取得加载该Class类的ClassLoader类加载器
    ClassLoader loader = clazz.getClassLoader();
      //取得该Class所对应的类文件的名称
    String classFile = clazz.getName().replaceAll("\\.", "/") + ".class";
    try {
        //循环遍历ClassLoader所加载的包含于该Class所对应的class文件的资源
      for(final Enumeration<URL> itr = loader.getResources(classFile);
          itr.hasMoreElements();) {
          //将加载的资源转换为URL格式
        final URL url = itr.nextElement();
          //如果资源的URL所使用的协议接口为jar，则表明该资源是个jar包，然后取得该jar所对应的路径信息
        if ("jar".equals(url.getProtocol())) {
          String toReturn = url.getPath();
          if (toReturn.startsWith("file:")) {
            toReturn = toReturn.substring("file:".length());
          }
          toReturn = URLDecoder.decode(toReturn, "UTF-8");
          return toReturn.replaceAll("!.*$", "");
        }
      }
    } catch (IOException e) {
      throw new RuntimeException(e);
    }
    return null;
  }
}

3. JobSubmissionProtoco接口

4. RunningJob接口

5. JobStatus、JobProfile、JobSubmissionFiles

5. 提交Job的客户端——JobClient

JobClient是用户作业和JobTracker进行交互的接口。JobClient为用户提供了用户提交作业、跟踪作业的处理进度、访问组成作业的工作日志、取得MapReduce集群的状态信息等方法。

5.1 静态代码块

  static{
    ConfigUtil.loadResources();
  }

5.2 成员变量

5.3 内部类

static class NetworkedJob implements RunningJob {
    ......
}

5.4 成员方法

//JobClient的构造方法会首先调用init()方法来完成初始化操作
public void init(JobConf conf) throws IOException {
    ......
}
//job的提交过程
 public RunningJob submitJobInternal(final JobConf conf)
      throws FileNotFoundException, IOException {
          ......
  }

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)