在eclipse环境下开发的代码,可以打包并放入到linux环境的 hadoop 下运行。
第一步:打包
前提是已经安装了打包工具,fatjar。
首先eclipse右上角,从map/reduce 切换到java, 点击工程,右键会出现fat jar。
选中fatjar,打开打包配置界面。
执行finished后,eclipse会打包正常jar文件
第二步: 将jar文件上传到linux下的hadoop环境
用hadoop用户,执行如下命令
[hadoop@master wordcount]$
[hadoop@master wordcount]$ hadoop jar DemoWordCount_fat.jar /user/hadoop/input/wordcount /user/hadoop/output/wordcount3
最后三个参数分别是打包的jar文件, 单词文件输入源路径, 执行结果输出路径。执行过程中会打印信息
执行完成后,可以查看是否有生成结果文件
[hadoop@master wordcount]$ hadoop fs -ls output/wordcount3
Found 2 items
-rw-r--r-- 1 hadoop supergroup 0 2016-06-15 02:06 output/wordcount3/_SUCCESS
-rw-r--r-- 1 hadoop supergroup 42 2016-06-15 02:06 output/wordcount3/part-r-00000
[hadoop@master wordcount]$
[hadoop@master wordcount]$
最后,可以查看结果:
[hadoop@master wordcount]$
[hadoop@master wordcount]$ hadoop fs -cat output/wordcount3/part-r-00000
Hello 4
cwq 1
me! 1
solo 2
world 2
you! 1
[hadoop@master wordcount]$