程序员经验分享-hwhale

Hadoop伪分布部署

2023-05-16

Hadoop伪分布部署

  • 一、 任务描述
  • 二、任务目标
  • 三、 任务环境
  • 四、任务分析
  • 五、任务实施
  • 步骤1、解压Hadoop压缩包
    • 步骤2、配置Hadoop文件
  • 六、 任务测试

原创申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计3133字，阅读大概需要3分钟
欢迎关注我的个人公众号：不懂开发的程序猿

一、 任务描述

以ubuntu环境为基础，练习Hadoop伪分布部署，部署成功后对信息进行整理并填写工作任务报告。

二、任务目标

学会hadoop伪分布式配置，理解伪分布式配置的配置文件

三、 任务环境

本次环境是：Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3

四、任务分析

Hadoop伪分布式配置是在没有多台计算机节点的情况下，对hadoop的分布式存储和计算进行模拟安装和配置。通过在一台计算机节点上解压hadoop安装压缩包后，然后进行hadoop相关文件进行配置，让Hadoop的核心进程都运行在同一台机器上并实现对数据存储和计算的测试支持。此时的配置环境并没有达到真实的分布式存储和分布式计算。

五、任务实施

步骤1、解压Hadoop压缩包

右击Ubuntu操作系统桌面，从弹出菜单中选择【Open in Terminal】命令打开终端。在终端中输入命令【cd /simple/soft】进入软件包的所在文件夹中,并通过【ls】命令查看文件夹下所有软件。如图1所示。
在这里插入图片描述

图1 进入软件所在目录
  在simple目录下执行解压命令解压Hadoop的tar包。如图2所示
在这里插入图片描述

图2 解压hadoop的tar包

♥ 知识链接
html表单
  HTML的表单用于收集用户的输入，表单中包含很多表单元素，指的是不同类型的 input 元素、复选框、单选按钮、提交按钮等等。< input>元素是最重要的表单元素。

步骤2、配置Hadoop文件

进入到到配置文件所在的目录下，并通过【ls】命令查看。如图3所示
在这里插入图片描述

图3 查看目录下文件
  在当前目录下执行命令：【vim hadoop-env.sh】，按i键之后进入编辑状态，找到【#export JAVA_Home=…】，把注释符号“#“去掉，修改java的安装目录为本机的安装目录: 【export JAVA_HOME=/simple/jdk1.8.0_73】。如图4所示
在这里插入图片描述

图4 设置Hadoop的JAVA_HOME
  在当前目录下执行【vim core-site.xml】并修改配置文件core-site.xml的 内容如下(实际修改不需要写中文注释，主机名查看虚拟机的主机名)。

1.	<property>
2.	    <name>fs.defaultFS</name>
3.	    <value>hdfs://localhost:9000</value>
4.	</property>
1.	<property>
2.	    <name>hadoop.tmp.dir</name>
3.	    <value>/simple/hadoop-2.7.3/tmp</value>
4.	</property>

在当前目录下执行【vim hdfs-site.xml】，修改配置文件hdfs-site.xml

1.	<property>
2.	    <name>dfs.replication</name>
3.	    <value>1</value>
4.	</property>
1.	<property>
2.	     <name>dfs.name.dir</name>
3.	     <value>/simple/hadoop-2.7.3/hdfs/name</value>
4.	</property>
1.	<property>
2.	     <name>dfs.data.dir</name>
3.	    <value>/simple/hadoop-2.7.3/hdfs/data</value>
4.	</property>

在当前目录下查看是否有配置文件mapred-site.xml。目录下默认情况下没有该文件，可通过执行如下命令：【mv mapred-site.xml.template mapred-site.xml】修改一个文件的命名，然后执行编辑文件命令：【vim mapred-site.xml】并修改该文件内容

1.	<property>
2.	    <name>mapreduce.framework.name</name>
3.	    <value>yarn</value>
4.	</property>

在$HADOOP_HOME/etc/hadoop目录下执行【vim yarn-site.xml】并修改配置文件内容如下

1.	<property>
2.	    <name>yarn.resourcemanager.hostname</name>
3.	    <value>localhost</value>
4.	</property>
1.	<property>
2.	    <name>yarn.nodemanager.aux-services</name>
3.	    <value>mapreduce_shuffle</value>
4.	</property>

执行命令【vim /etc/profile】。把hadoop的安装目录配置到环境变量中。如图5所示。

在这里插入图片描述

图5 配置环境变量

然后使用命令让配置文件生效:【source /etc/profile】。如图6所示

在这里插入图片描述

图6 使配置文件生效
  格式化namenode。在任意目录下执行如下命令进行格式化：【hdfs namenode -format】 或者 【hadoop namenode -format】 。（搭建后第一次格式化namenode，实际上就是在namenode上开辟一块儿命名空间。这样hdfs就可以挂载在这个命名空间下，namenode负责管理,datanode负责存储。） 如图7所示

在这里插入图片描述

图7 格式化namenode
  HDFS是分布式系统，所以启动HDFS时，会启动配置的各个服务器节点，包括本机，在启动过程中是通过ssh远程操作的，所以在不做特殊配置下，每次启动到节点（包括本机）相关操作时，都要输入密码，如果想避免每次都输入密码，可执行下面命令设置本机免密【cd ~/.ssh】进入该目录下，查看目录下文件应该是空的（如果不设置免密，每次启动服务需要输入密码vncpassoword)

在这里插入图片描述

使用命令【ssh-keygen -t rsa】生成公钥和私钥。默认在家目录（~/.ssh/）会生成两个文件：

id_rsa: 私钥
id_rsa.pub:公钥
  然后用命令【cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys】将公钥导入到认证文件。如图8所示

在这里插入图片描述

图8

启动hadoop， 首先启动hdfs：start-dfs.sh（第一次启动服务时会出现Are you sure you want to continue connecting(yes/no)?,请输入yes） 。如图9所示

在这里插入图片描述

图9 启动hdfs
  启动yarn：start-yarn.sh。如图10所示
在这里插入图片描述

图10 启动yarn
♥ 知识链接
HDFS和YARN
  1）HDFS是一个分布式文件系统，具有高容错的特点，它可以部署在廉价的通用硬件上，提供高吞吐率的数据访问，适合那些需要处理海量数据集的应用程序。
2）YARN是Hadoop 2.0的资源管理器。它是一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

六、 任务测试

启动之后，在任意目录下执行jps命令验证进程是否正常启动。如图11所示

在这里插入图片描述

图11 jps查看已启动进程
测试hdfs和yarn（推荐火狐浏览器），首先在浏览器地址栏中输入： http://localhost:50070 （HDFS管理界面）。如图12所示

在这里插入图片描述

图12 查看HDFS管理界面
在浏览器的地址栏中输入： http://localhost:8088 （MR管理界面）（本IP为自己虚拟机上面的IP，端口不变）。如图13所示
在这里插入图片描述

图13 查看MR管理界面

在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

伪分布部署

Hadoop伪分布部署 的相关文章

随机推荐

  • Shell学习--Shell变量与Shell数组

    一 普通变量 1 定义变量时直接赋值 xff0c 不需要 等特殊符号 name 61 34 Tom 34 注 xff1a 变量名和等号之间不能有空格 2 使用一个定义过的变量 xff0c 只要在变量名前面加 符号即可 花括号是为了帮助解释器

  • Shell学习--传递参数

    我们可以在执行 Shell 脚本时 xff0c 向脚本传递参数 xff0c 脚本内获取参数的格式为 xff1a n n 代表一个数字 xff0c 1 为执行脚本的第一个参数 xff0c 2 为执行脚本的第二个参数 xff0c 以此类推 实例

  • Docker Dockerfile

    镜像的生成途径 xff1a Dockerfile基于容器制作 本篇介绍Dockerfile 文件说明 Dockerfile是一个包含用于组合映像的命令的文本文档 Docker通过读取Dockerfile中的指令自动生成镜像 基本结构 基本格

  • Shell学习--基本运算符与test命令

    原生bash不支持简单的数学运算 xff0c 但是可以通过其他命令来实现 xff0c 例如 awk 和 expr xff0c expr 最常用 expr 是一款表达式计算工具 xff0c 使用它能完成表达式的求值操作 例如 xff0c 两个

  • Shell学习--echo命令

    echo 用于字符串的输出 xff0c 命令格式如下 xff1a echo string 1 显示普通字符串 echo 34 It is a test 34 二者效果一致 echo It is a test 2 显示转义字符 xff0c 双

  • Shell学习--printf命令

    printf 命令模仿 C 程序库 xff08 library xff09 里的 printf 程序 xff0c 使用 printf 的脚本比使用 echo 移植性好 printf 使用引用文本或空格分隔的参数 xff0c 外面可以在 pr

  • Shell学习--流程控制

    一 if else 1 if 语法格式 if condition then command1 command2 commandN fi 也可以写成一行 if ps ef grep c 34 ssh 34 gt 1 then echo 34

  • Shell学习--Shell函数

    linux shell 可以用户定义函数 xff0c 然后在shell脚本中可以随便调用 一 简单的函数定义 1 shell中函数的定义格式如下 xff1a function funname action return int 说明 xff

  • Shell学习--Shell 输入/输出重定向

    大多数 UNIX 系统命令从你的终端接受输入并将所产生的输出发送回 到您的终端 一个命令通常从一个叫标准输入的地方读取输入 xff0c 默认情况下 xff0c 这恰好是你的终端 同样 xff0c 一个命令通常将其输出写入到标准输出 xff0

  • Shell学习--Shell 文件包含

    和其他语言一样 xff0c Shell 也可以包含外部脚本 这样可以很方便的封装一些公用的代码作为一个独立的文件 Shell 文件包含的语法格式如下 xff1a filename 注意点号 和文件名中间有一空格 或 source filen

  • 向Github上传文件或项目

    准备工作 xff1a 具有 Github 账号 xff0c 电脑已安装 Git Bash 一 在 Github 上创建新的仓库 1 登录到 Github 主页创建一个新的仓库 xff08 两种方法都可以 xff09 2 配置新建仓库的属性

  • Github分支创建、管理、下载与上传

    当我们想进行文件备份 文件分类 版本更新 分工合作等工作时 xff0c 对github仓库进行分支就变得非常重要 一 创建分支 在Github仓库创建时会生成默认的主分支 xff0c 一般名称为 main xff0c 我们可以以主分支为基础

  • 删除Github仓库中的指定的文件或文件夹

    在Github 仓库中是无法通过鼠标操作直接删除文件和文件夹的 xff0c 那只能通过 git 命令来执行删除操作 xff0c 当我们想删除 First 分支中的 folder 文件夹及其内部的文件 和 file c 文件 时 一 获取当前

  • 如何判断栈、堆的增长方向？

    如何判断栈的增长方向 xff1f 对于一个用惯了i386系列机器的人来说 xff0c 这似乎是一个无聊的问题 xff0c 因为栈就是从高地址向低地址增长 不过 xff0c 显然这不是这个问题的目的 xff0c 既然把这个问题拿出来 xff0

  • 向文件最后一行添加字符串

    当我们想向某个文件中添加指定的字符串时 xff0c 可以使用相关的指令 一 echo指令 使用echo追加重定向可以直接向文件中添加一行字符串 echo 34 add string 34 gt gt test txt 可以看到echo会在文

  • KernelShark分析内核任务执行过程

    一 KernelShark简介 KernelShark是一个非常实用的工具 xff0c 其可以搭配 trace cmd 使用 xff0c 将内核的任务执行过程以直观的形式展现出来 下面的文档中详细的介绍了KernelShark的使用方法和功

  • 关于Linux中断的相关查询

    1 linux 内核 proc interrupts 在 proc interrupts 文件中记录了 Linux 内核的中断信息 xff0c 我们可以通过命令查看 sudo cat proc interrupts 文件中以表格的形式列举出

  • Latex中编译IEEE sensors journal 模板中遇到的种种问题

    总的来说 xff0c 这个期刊的模板跟之前那个TIE的模板不太一样 xff0c 因为目前只接触了这两个 xff08 本人水平比较菜 xff09 1 编译左上角的Logo xff0c 一直在报错 xff0c 并没有显示成功 xff0c 一直显

  • python笔记：argparse模块

    用途 python用于解析命令行参数和选项的标准模块 xff0c 内置于python xff0c 不需要安装 使用步骤 引入模块 span class token keyword import span argparse 创建一个解析器 使

  • Hadoop伪分布部署

    Hadoop伪分布部署 一 任务描述二 任务目标三 任务环境四 任务分析五 任务实施步骤1 解压Hadoop压缩包步骤2 配置Hadoop文件 六 任务测试 原创申明 xff1a 未经许可 xff0c 禁止以任何形式转载 xff0c 若要引

热门标签