hadoop实践(六)eclipse 打包和liunx下运行

2023-10-29

在eclipse环境下开发的代码,可以打包并放入到linux环境的 hadoop 下运行。

第一步:打包

前提是已经安装了打包工具,fatjar。  

        首先eclipse右上角,从map/reduce 切换到java, 点击工程,右键会出现fat jar。


       选中fatjar,打开打包配置界面。


       执行finished后,eclipse会打包正常jar文件


第二步: 将jar文件上传到linux下的hadoop环境

       用hadoop用户,执行如下命令

[hadoop@master wordcount]$ 
[hadoop@master wordcount]$ hadoop jar  DemoWordCount_fat.jar /user/hadoop/input/wordcount  /user/hadoop/output/wordcount3
       最后三个参数分别是打包的jar文件,  单词文件输入源路径, 执行结果输出路径。执行过程中会打印信息



       执行完成后,可以查看是否有生成结果文件

[hadoop@master wordcount]$ hadoop fs -ls output/wordcount3
Found 2 items
-rw-r--r--   1 hadoop supergroup          0 2016-06-15 02:06 output/wordcount3/_SUCCESS
-rw-r--r--   1 hadoop supergroup         42 2016-06-15 02:06 output/wordcount3/part-r-00000
[hadoop@master wordcount]$ 
[hadoop@master wordcount]$ 

       最后,可以查看结果:

[hadoop@master wordcount]$ 
[hadoop@master wordcount]$ hadoop fs -cat output/wordcount3/part-r-00000
Hello   4
cwq     1
me!     1
solo    2
world   2
you!    1
[hadoop@master wordcount]$ 


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

hadoop实践(六)eclipse 打包和liunx下运行 的相关文章

  • 在 OS X (C++) 中设置 Eclipse 错误:启动失败,未找到二进制文件?

    关于这个主题有一百万个问题 我已经阅读了所有这些问题 我的计算机上安装了 eclipse juno 运行 OS X Yosemite 我只想运行一个简单的 hello world 程序 但我不能 我不知道为什么 我确实构建了该项目 即使我这
  • m2e 阴影 Eclipse“项目主要工件不存在”

    我正在尝试制作一个部署包 将我的 Maven 模块的所有依赖项捆绑在一起 该模块依赖于 Eclipse 中的另一个 Maven 项目 我的 pom xml 中有这个
  • 使用 java.nio.file.Paths 接口时缺少方案(IllegalArgumentException)

    这是一个非常简单的java问题 我在 Linux 系统上使用 Java 8 和 eclipse kepler 我一直在尝试尝试NIO 2 我的代码是 package lucasTest import java io IOException
  • 如何关闭Eclipse中的蜂鸣声?

    在 Mac OS X 上 我运行 Flex Builder 它基本上是一个定制的 Eclipse 当我执行 查找 时 如果找不到所选文本以及将搜索包装到顶部 则会发出蜂鸣声 可以把那个提示音关掉吗 我在互联网和首选项窗格中进行了搜索 但没有
  • 在 Eclipse 中使用 argc 和 argv?

    我有一个工作程序 但现在我必须使用int argc and char argv 参数为main 每当我尝试这样做时 它都会给我带来无法保存的错误 有什么办法可以使argc and argv在 Eclipse 中工作 我猜你的问题是 当你通过
  • 使用 JavaFX 将可执行 Jar 限制为一个窗口

    我正在通过构建 JavaFX 应用程序E fx 剪辑 and Java场景生成器 基本功能是登录窗口 登录后 将打开新窗口 然后登录窗口消失 目前还处于原型阶段 用完eclipse后 我想要的功能都有了 启动时显示登录窗口 代码如下 Ove
  • 如何阻止 Eclipse 上的 JPA Facet 始终更新?

    我在 Eclipse 中有一个 EJB2 EJB3 Java 项目 我最近启用了 JPA Facet 现在安装了 Dali 并配置了对包含实际表和数据的 MySQL 数据库的访问 问题是 在 IDE Java 编辑器中编辑实体 bean 速
  • 全部配对图表上的所有路径

    这可能是一个没有最佳解决方案的问题 假设我有一个有向图 不知道它是否有循环 循环检测将是这个问题的方面之一 给定一组顶点 可能是数百万个顶点 我需要计算给定图的所有唯一对之间的所有不同路径 没有重复顶点的路径 我该如何应对这种情况 让我们看
  • 在 Eclipse 的包资源管理器中突出显示类文件

    我为eclipse开发了一个插件 可以在项目的弹出菜单中添加一个选项 此选项将按名称搜索类 然后它应该在包资源管理器中突出显示该类 我对突出显示部分有疑问 我在文件夹中搜索类 所以我有类路径 但我不知道如何突出显示它 我尝试了这个 但没有得
  • 使用 Java API 在 Hadoop 中移动文件?

    我想使用 Java API 在 HDFS 中移动文件 我想不出办法做到这一点 FileSystem 类似乎只想允许在本地文件系统之间移动 但我想将它们保留在 HDFS 中并将它们移动到那里 我错过了一些基本的东西吗 我能想到的唯一方法是从输
  • Eclipse 中的 Java 构建路径问题

    在 Eclipse 中 我有一个与我的构建路径相关的错误 错误 Project XX is missing required library middlegen 2 1 jar 但该库在构建路径配置之前被删除 是不是缓存或者其他方面有问题
  • 如何解决 STS 启动时出现“无法找到用于堆栈映射生成的 Asm”错误?

    我正在尝试使用Spring工具套件3 8 3在 Ubuntu 16 04 上 启动后我收到此错误 期间发生内部错误 初始化 Java 工具 详细消息 在 初始化 Java 工具 期间发生内部错误 无法 找到用于堆栈图生成的 Asm 寻找 a
  • 在Android项目中引用(纯java)项目(找不到类)

    我试图在我的 Android 项目中引用一个纯 java 项目 gt Java 项目有一大堆我需要使用的类 哦 正如第一个回复所指出的 我正在使用 eclipse 是的 唯一的问题是 我总是找不到类 XXX 从方法 com example
  • SWT StyledText 有高度限制吗?

    我正在尝试创建一个应用程序 其中包含在 ScrolledComposite 中显示的 StyledText 框 我在 StyledText 框中显示大量行时遇到困难 超过 2 550 行似乎会导致问题 StyledText 框本身不能有滚动
  • JPA 和数据库位于一个 jar 中

    我创建了一个使用 JPA 和 MySQL 的应用程序 现在我喜欢用它创建简单的桌面应用程序 例如 一个简单的 jar 最好 两个问题 在一个简单的 jar 中获取一个项目 包括它所依赖的所有 jar 的最简单方法是什么 我可以使用像 sql
  • 以不同用户身份运行 MapReduce 作业

    我有一个与 Hadoop 交互的 Web 应用程序 Cloudera cdh3u6 特定的用户操作应在集群中启动新的 MapReduce 作业 该集群不是一个安全集群 但它使用简单的组身份验证 因此 如果我以自己的身份通过 ssh 连接到它
  • Eclipse 找不到 javaw.exe

    当我启动 eclipse 时 我遇到这个问题 javaw exe在我的电脑中的位置是C Program Files Java jre7 bin 我尝试更改路径环境变量 然后出现不同的错误 例如 JRE 更新到 jre1 8 0 111 后
  • 使用 eclipse 调试 OpenJDK 源代码

    在我的项目中 我想使用 eclipse 调试 OpenJDK 版本 8 的 C C 源代码 为此 我做了以下工作 编译了 OpenJDK8 with debug level slowdebug使用这个readme http hg openj
  • 如何在 Eclipse 项目之间共享 Web 内容

    虽然 J2EE 模块参考功能允许您创建常见的 Java 库项目 但我找不到针对 Web 内容执行此操作的巧妙方法 我有通用的 JSP CSS 文件 JavaScript 库 甚至是描述符片段 我想在多个动态 Web 项目中使用它们 因此这些
  • Eclipse 告诉我在构建路径中检测到一个循环,但事实并非如此!

    Eclipse 告诉我 a cycle was detected in the build path of project name 尽管项目的结构 由团队中的其他人创建 没有循环 相同的项目部署在其他机器上 相同 并且不会给出错误 我需要

随机推荐

  • s3 实现图片上传并返回图片路径

    一般做图片上传的的业务时我们接收的都是 MultipartFile 类型的文件 但是s3提供的图片上传只支持file 类型的文件上传 所以需要我先把 MultipartFile 转换为 file MultipartFile 转换为file
  • 递归树形结构的多级分类数据封装

    在日常开发中 我们经常需要查询一些树形结构的多级分类数据 如 多级菜单 商品三级分类 企业组织架构等等 我们以商品三级分类为例 大部分情况下 在同一张数据表中 无论是一级商品还是三级商品 每一条商品信息独占一行空间 通过 层级 字段 标明该
  • 金先生的 NutUI3 初体验

    冬日清晨 客服小王第一个来到了公司 还没顾得上脱下厚厚的羽绒服 桌上的电话就响了起来 您好 这里是京东客服 请问有什么可以帮到您的么 电话那头很嘈杂 呼啸的北风让来电人的声音很难被听清 而唯一可以被弄懂的就是对方一直在声嘶力竭反复强调的 开
  • 人脸相似度对比

    由清晰的人脸照转化出的像素值矩阵 应当设计出什么样的函数 f x 转化为特征值呢 这个问题的答案依赖于分类问题 即 先不谈特征值 首先如何把照片集合按人正确地分类 这里就要先谈谈机器学习 机器学习认为可以从有限的训练集样本中把算法很好地泛化
  • Sql Server 锁知识及锁应用

    转 sql server锁知识及锁应用 胡杰的专栏 CSDN博客sql server锁 lock 知识及锁应用一 关于锁的基础知识二 锁的分析及应用系列三 SQL Server 锁机制 悲观锁 乐观锁 实测解析四 SQL Server 中W
  • android车载行业前景,车载 Android 系统快来了,但前景可能并不乐观

    行业内相关主机厂 供应商已经习惯了利用移动版 Android 系统的开源性 进行框架层面的定制化改造 但是 车载 Android 系统为了保证满足车规应用 显然不会像移动版那样有很大的灵活定制性 特别是当谷歌开始把手伸向更底层的车辆控制系统
  • linux通信机制signal()函数详解

    我们来谈一谈signal 函数的作用 linux系统提供了signal 和sigaction 两个函数来改变对于信号的处理方法 其中signal 是一个基于sigaction 系统调用的glibc库函数 其行为在不同的linux操作系统存在
  • 赋值语句作为if的判断条件

    具体如下代码所示 char name xiaopingguo if char p NULL cout lt lt NULL lt
  • mysql按照每个表一个备份文件的逻辑备份脚本和检查报警脚本

    下面是逻辑备份脚本 1 首先通过information schema tables获取所有数据库名称 2 然后根据日期创建临时备份目录 根据数据库名进行循环 获取每个数据库下面的表名集合 3 然后进行循环备份 按照表级备份完成后 4 然后进
  • Microsemi Libero系列教程(一)——Libero开发环境介绍、下载、安装与注册

    文章目录 前言 Libero 简介 关于Libero IDE和Libero SoC Libero SoC Libero 下载 支持的操作系统 所有版本的安装包下载链接 V11 8安装包下载 V11 8 SP2补丁包下载 Libero 安装
  • java的示例题1

    前言 整理一部分java的示例题型 在线编译 入口 java的System out println与System out print 浩星 CSDN博客前言 java基础知识之System out println System out pr
  • vue配置history路由(Nginx版)

    修改Nginx配置文件 在里面加上这两段 h5为vue项目打包文件名 location h5 try files uri uri router index index html index htm location router rewri
  • css页眉标签,css与页眉,页脚和多栏布局scrled

    我正在尝试创建一个网页布局模板我的目标是页眉 页脚和2列之间 2栏是什么都给我最大的头痛 我想左列为固定宽度 右侧列填充剩余区域 我也成功完成了这一项 但我也希望这两列 垂直填充雨区 当内容填充超过我看每列要分别骂而不使用正常的Brower
  • 龙架构(LoongArch)赋能众享链网,相关产品已完成适配

    立足于中国特色区块链发展现状 以及 低成本 高效率 多兼容 新型网络技术发展需求 近日 龙芯3C5000L与众享链网底层平台 ChainSQL完成了兼容适配 龙芯3C5000L服务器作为超级节点正式加入众享链网并对外提供服务 适配结果表明
  • 【计算机视觉】MoCo 讲解

    有任何的书写错误 排版错误 概念错误等 希望大家包含指正 MoCo 模型概述 MoCo 是何恺明提出的一种通过对比学习的方式无监督地对图像编码器进行预训练的方法 MoCo 包括三个结构 query 编码器 key 编码器和动态字典 训练完成
  • Ubuntu20.4安装gnuradio艰辛之路

    自从毕设选了跟老师做雷达信号 一路坎坷 做信号盲检测需要安装gnuradio 一路艰辛 小白零基础经历耗费了差不多四天 经历了很多次系统奔溃死机 光是Ubuntu系统就重装了不下十次 最后打王者等待的时候 水晶爆了 但是突然弹出来安装好gn
  • Docker 具名和匿名挂载

    匿名挂载 v 容器内路径 docker run d p 9090 80 name nginx01 v etc nginx nginx 查看所有卷 volume 情况 docker volume ls DRIVER VOLUME NAME l
  • 使用Canvas扩展绘制动态ASP.NET Core Blazor气泡图

    目录 介绍 背景 使用代码 步骤1 创建ASP NET Core Blazor服务器应用程序 运行测试应用程序 步骤2 安装软件包 步骤3 创建模型类 创建服务类 步骤4 将服务添加到Startup cs中 步骤5 使用客户端项目 添加Ra
  • npm参数解释

    npm i i代表install 即安装模块选项 npm y y是yes的缩写 即npm后面需要手动配置的选项采用默认配置 npm S 将安装的模块放到dependency下 安装的模块在生产版本也会用到 如element ui等插件 生产
  • hadoop实践(六)eclipse 打包和liunx下运行

    在eclipse环境下开发的代码 可以打包并放入到linux环境的 hadoop 下运行 第一步 打包 前提是已经安装了打包工具 fatjar 首先eclipse右上角 从map reduce 切换到java 点击工程 右键会出现fat j