Eclipse连接Hadoop集群（详细版）

颜子之不较，孟子之自反，是贤人处横逆之方
子贡之无谄，原思之坐弦，是贤人守贫穷之法

相关连接

HDFS相关知识

• Hadoop分布式文件系统（HDFS）快速入门
• Hadoop分布式文件系统（HDFS）知识梳理（超详细）

Hadoop集群的安装与部署

多台Linux虚拟机Hadoop集群的安装与部署（超详细版）

Hadoop集群连接

IntelliJ IDEA连接Hadoop集群

HDFS Java API

Hadoop分布式文件系统（HDFS）Java接口（HDFS Java API）详细版

Eclipse连接Hadoop集群

注意事项

• 该Hadoop集群为远程Hadoop集群
• Hadoop集群已配置完毕，若未配置完毕，请转至多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
• Eclipse所在的操作系统为Windows
• Eclipse所在操作系统已安装JDK
• Eclipse所在系列为 Eclipse IDE for Java EE

准备文件

• hadoop-2.6.0.rar 提取码xix0
• hadoop-eclipse-plugin-2.6.0.jar 提取码9uzl

具体步骤

1. 将hadoop-2.6.0.rar压缩包解压
2. 增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录
   
3. 在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin
4. 将hadoop-eclipse-plugin-2.6.0.jar拷贝到Eclipse安装目录中dropins文件夹
   注意：该插件版本必须与Hadoop版本一致
   GitHub源码下载
5. 打开hadoop-2.6.0的安装目录，打开bin文件夹，复制hadoop.dll和winutils.exe文件，打开目录C:\Windows\System32，将以上两个文件拷贝到该文件夹
6. 打开Eclipse，依次点击“Window”→“Preferences”→“Hadoop Map/Reduce”，Hadoop installation directory配置为hadoop-2.6.0.rar压缩包解压目录
   
   注意，若在Preferences中找不到Hadoop Map/Reduce，则cd到Eclipse安装目录，执行./eclipse -clean，然后重启Eclipse
7. 依次点击“Window”→“Show View”→“Other…”→“MapReduce Tools”→“Map/Reduce Locations”
8. 在“Map/Reduce Locations”视图中右键“New Hadoop location…”，新建连接
   
9. 弹出如下窗口，这个是初始界面
   
10. 下面我讲解这些配置如何填写

• Location name
  可以任意填写
• Map/Reduce(V2) Master
  • Host
    方法一：填写远程Hadoop所在虚拟机的IP地址，比如我的是172.16.29.94
    方法二：直接填入其主机名（比如我的是master），要在相关文件中进行配置：进入目录C:\Windows\System32\drivers\etc，找到hosts文件，打开后加入IP地址与主机名的映射，如下图所示
    
  • Port（划重点！我在这里掉进过很多坑！）
  • 将远程集群的Hadoop安装目录下**/hadoop/hadoop-2.7.7/etc/hadoop/目录下的core-site.xml**、hdfs-site.xml、mapred-site.xml、slaves和yarn-site.xml5个文件通过Xftp等SFTP文件传输软件将五个文件复制，并在本机的（Windows系统）中Hadoop安装目录下的**\hadoop-2.6.0\etc\hadoop**目录中使用以上5个文件覆盖原文件
    对于5个文件如何配置，强烈建议阅读多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
  • 打开复制的yarn-site.xml文件，找到变量名为yarn.resourcemanager.address的变量值，我的文件的变量值为master:8032
    
  • 将该变量值中的端口号填入Map/Reduce(V2) Master的Port中，我需要填入的值为8032
• DFS Master
  • Port
    • 打开复制的core-site.xml文件，找到变量名为fs.defaultFS的变量值，我的文件的变量值为hdfs://master:9000
      
    • 将该变量值中的端口号填入DFS Master的Port中，我需要填入的值为9000
• User name
  填写远程Hadoop所在的操作系统的用户名，我的是root

综上，配置结果如下、

点击Finish即可
11. 查看Project Explorer中的DFS Locations，依次展开文件夹，若能查看远程Hadoop集群的HDFS内容，则Eclipse连接Hadoop集群成功
注意：若找不到DFS Locations，或报出“Map/Reduce location status updater”错误，需要执行以下步骤

1. 点击Eclipse右上角的Open Perspective图标
   
2. 在弹出的窗口点击Map/Reduce选项，点击Open即可
   

WordCount程序运行示例

使用Java API编写WordCount程序