我试图了解数据局部性，因为它与 Hadoop 的 Map/Reduce 框架相关。特别是我想了解哪个组件处理数据局部性（即它是输入格式吗？）
雅虎的开发者网络页面 http://developer.yahoo.com/hadoop/tutorial/module1.html声明“然后，Hadoop 框架使用来自分布式文件系统的知识将这些进程安排在数据/记录位置附近。”这似乎意味着 HDFS 输入格式可能会查询名称节点以确定哪些节点包含所需数据，并在可能的情况下在这些节点上启动映射任务。人们可以想象 HBase 可以采用类似的方法，通过查询来确定哪些区域正在服务某些记录。
如果开发人员编写自己的输入格式，他们将负责实现数据局部性吗？
你说得对。如果您正在查看FileInputFormat类和getSplits()方法。它搜索块位置：
BlockLocation[] blkLocations = fs.getFileBlockLocations(file, 0, length);
这意味着文件系统查询。这发生在JobClient，结果被写入 SequenceFile（实际上它只是原始字节代码）。
因此，Jobtracker 稍后在初始化作业时读取此文件，并且几乎只是将任务分配给输入分割。
但数据的分发是NameNode 的工作。
现在回答你的问题：
通常你是从FileInputFormat。所以你将被迫返回一个列表InputSplit，并且在初始化步骤中需要这样的东西来设置分割的位置。例如FileSplit:
public FileSplit(Path file, long start, long length, String[] hosts)
所以实际上你并没有实现数据局部性本身，你只是告诉在哪个主机上可以找到分割。这可以通过以下方式轻松查询FileSystem界面。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
