MapReduce案例运行及分词

2023-05-16

 首先查询进程,发现hadoop并没有启动

如何配置hadoop,参考我的另外一篇博文《Hadoop环境准备》

 

接下来,启动hadoop

start-all.sh

或者

start-dfs.sh

start-yarn.sh

 

启动成功后,在浏览器中输入:

<主机名>:8088

master:8088/cluster

 

 

a. Cluster Metrics

  集群指标:app(提交、排队、运行、完成)、 Container个数 、 资源(内存、cpu)

b. Cluster Nodes Metrics

  机器状态:active、dicommisioning、decommisioned、lost、unhealty、reboot 

 

c. dr.who用户指标

  通过浏览器访问默认使用dr.who用户

 

 

 

 

 

 

 

 

 

以上是基本情况说明,借来调用hadoop2.7/share/hadoop/mapreduce下的一个jar包:hadoop-mapreduce-exmaples-2.7.7.jar 

 

执行jar包

hadoop jar hadoop-mapreduce-examples-2.7.7.jar

可以看到终端信息中出现wordcount信息

 

执行wordcount程序:

hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount <input> <output>

 

调用wordcount分词程序,

hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount file:/home/liuhongyang/Downloads/hadoop2.7/LICENCE.txt file:/home/liuhongyang/Downloads/hadoop2.7/tmp

说明:对LICENCE.txt文件进行分词,tmp文件输入output目录文件,新建前不应该存在

 

在tmp目录下查看结果:

 

 

转载于:https://www.cnblogs.com/zhichun/p/11381895.html

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

MapReduce案例运行及分词 的相关文章

随机推荐

  • Python 使用xlrd模块获取Excel中超链接的URL并下载到本地

    本文介绍了xlrd模块如何操作Excel 目录 一 xlrd模块介绍二 使用步骤1 引入库2 示例代码 一 xlrd模块介绍 1 xlrd是读取Excel表格数据的模块 2 高版本的xlrd目前去除了对xlsx格式的支持 xff0c 支持x
  • 查看树莓派实时温度

    打开终端 xff0c 使用指令查看CPU温度 xff0c 依次输入以下指令 xff1a 1 cd sys class thermal thermal zone0 cat temp 返回值 除以1000 51540 返回值除以1000为当前C
  • 人脸识别概述[L-softmax | 人脸验证 | DeepFace | FaceNet | Triplet loss]

    文章目录 思维导图疑问用softmax分类做人脸识别 xff0c 怎么应用呀 概念区分主流方法损失函数Softmax loss基于欧式距离的损失函数对比损失 xff08 Contrastive Loss xff09 三元组损失 xff08
  • HDFS API常用的方法及使用

    文章目录 POM依赖HDFS API上传本地数据到HDFS系统删除指定路径下的文件创建文件夹及文件 xff0c 并向文件中写入数据获取指定文件的日期重命名目录获取指定路径所有的文件 POM依赖 span class token tag sp
  • Ubuntu 14.04 16.04 18.04 安装Docker(Docker CE)

    Ubuntu 14 04 16 04 18 04 使用apt get进行安装 自17年开始 xff0c docker分为docker ce xff08 社区版 xff09 docker ee xff08 企业版 xff09 xff0c 另外
  • PHP实现跨域的解决方法

    PHP实现跨域解决方法 如果要实现跨域通过设置Access Control Allow Origin来实现跨域 例如 xff1a 客户端的域名是client runoob com xff0c 而请求的域名是server runoob com
  • SLAM后端——滤波与优化对比

    滤波与优化 xff1a 摘自 xff1a https www cnblogs com zengcv p 5994587 html 因为基于滤波的理论 xff0c 滤波器稳度增长太快 xff0c 这对于需要频繁求逆的EKF xff08 扩展卡
  • realsense t265测试

    roslaunch realsense2 camera rs t265 launch rosrun rviz rviz roslaunch vins estimator euroc launch 将加计和陀螺仪主题放在一起 修改rs cam
  • Intel Realsense t265获取相机参数

    rs sensor control
  • VINS-MONO需要修改的参数

    相机参数修改 xff1a 加速度和角速度发表在两个话题 xff0c 用上述方法将其发表在一个话题上 修改VINS MONO包 xff1a
  • MSCKF

    https github com TurtleZhong msckf mono
  • ROS毕设坑3:在ROS下用视觉方法求取R和t,然后将其发布

    今天莫名遇到两个问题 xff1a 之前调好的代码硬生生的跑不通 xff0c 就会出现下面这个问题 xff1a 大概意思就是说我还没得到图片呢就让他去计算 xff0c opencv就出错了 xff0c 我不信这个邪 xff0c 自己去调试了一
  • Linux网卡驱动pcnet32.c的注释(AM79C9*系列网卡的驱动)

    很久之前读的网卡驱动源码 xff0c 很多东西已经忘记了 xff0c 最近面试被问道了网卡收数据包的全过程 xff0c 只能答出一个很简单的过程 xff0c NAPI这种非常优秀的机制都没有想起来 xff0c 很惭愧 xff0c 重新复习了
  • ADRC算法Auto Disturbances Rejection control

    自抗扰控制 其中 xff0c e 61 v t y t 是控制系统参考输入量v t 与被控对象输出量y t 之间的差值 xff0c kp比例系数 ki积分系数 xff0c xff0c kd微分系数 优点 xff1a 1 仅由误差来决定控制
  • python 下运行ros

    1 建立l两个文件夹python ros scr 2 执行下述命令后 xff0c 将会在在src中 xff0c 建立一个包daodao 并且在文件夹daodao里生成了两个空文件夹 xff0c 有include daodao scr 和 C
  • tensor 与 array 的相互转化

    import tensorflow as tf import numpy as np a 61 np array 1 2 3 4 5 6 7 8 9 print a 1 2 3 4 5 6 7 8 9 b 61 tf constant a
  • keras.layers.UpSampling2D与tf.image.resize_nearest_neighbor

    参考https www bookstack cn read keras docs zh sources layers convolutional md keras layers UpSampling2D size 61 2 2 data f
  • Linux安装elasticsearch7.x(踩坑分享)

    安装并启动 首先下载elasticsearch压缩文件 xff0c 下载地址 我这里选择的是elasticsearch 7 17 1版本 xff1a https www elastic co cn downloads elasticsear
  • VNC 登录显示too many security failures的解决方法

    原因 xff1a 黑客试图登录 解决方法 xff1a 在putty上登录 xff0c 然后输入命令vncserver kill 5 杀掉vnc进程 之后输入su 你的用户名 使用su权限 输入命令 vnc 重启vnc 成功之后就可以再次登录
  • MapReduce案例运行及分词

    首先查询进程 xff0c 发现hadoop并没有启动 如何配置hadoop xff0c 参考我的另外一篇博文 Hadoop环境准备 接下来 xff0c 启动hadoop start all sh 或者 start dfs sh start