程序员经验分享-hwhale

centos7下安装Hadoop伪分布式

2023-11-04

虚拟机或服务器准备

安装centos7的操作系统

安装过程请自行百度

查看是否可以通网络

使用ping 163.com
在这里插入图片描述
如果ping不通，可以修改网卡。一般在/etc/sysconfig/network-scripts/的文件夹下
修改ifcfg-ens**

ONBOOT=NO
##改成
ONBOOT=YES

然后重启网络或重启机器

#重启网络
systemctl restart network

#重启机器
reboot

配置静态IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static
IPADDR="10.111.43.60"
NETMASK="255.255.255.0"
GATEWAY="10.111.43.254"
DNS1="10.5.90.2"
DNS2="202.98.198.167"

在这里插入图片描述

修改主机名

修改文件

#添加主机名
vim /etc/hostname
hadoop

#添加ip和hostname对应关系
vim /etc/sysconfig/network 
10.111.43.55 hadoop

重启机器（reboot）生效

关闭防火墙

查看防火墙状态
[root@hadoop hadoop]# systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled)
   Active: inactive (dead) since Mon 2022-04-25 08:51:00 EDT; 13h ago
     Docs: man:firewalld(1)
  Process: 718 ExecStart=/usr/sbin/firewalld --nofork --nopid $FIREWALLD_ARGS (code=exited, status=0/SUCCESS)
 Main PID: 718 (code=exited, status=0/SUCCESS)

inactive(dead)为关闭状态
如果是active(running)，为开启状态，可以使用

systemctl stop firewalld

开启防火墙

systemctl start firewalld

安装hadoop伪分布式

映射IP

[root@hadoop hadoop]# vim /etc/hosts

在文件末尾 ，添加如下内容
在这里插入图片描述

安装jdk

下载jar包，并上传到linux中，我的是/root/soft
在这里插入图片描述
解压安装包

tar -zxvf jdk-8u271-linux-x64.tar.gz

创建软链接

[hadoop@hadoop soft]$ ls 
jdk1.8.0_271 
#创建软链接 
[hadoop@hadoop soft]$ ln -s jdk1.8.0_271 jdk 
#查看软链接 
[hadoop@hadoop soft]$ ls
jdk jdk1.8.0_271

配置环境变量

vim ~/.bashrc

在文件末尾添加一下内容

##JAVA_HOME 是你java 的解压的路径 一定要注意
export JAVA_HOME=~/soft/jdk 
export JRE_HOME=${JAVA_HOME}/jre 
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 
export PATH=${JAVA_HOME}/bin:$PATH

让配置立即生效

source ~/.bashrc

验证是否配置成功

[root@hadoop soft]# java -version
java version "1.8.0_271"
Java(TM) SE Runtime Environment (build 1.8.0_271-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.271-b09, mixed mode)

出现以下内容说明配置成功

安装配置hadoop

下载并上传安装包到linux目录中,我的是/root/soft
在这里插入图片描述
解压

tar -zxvf hadoop-2.7.3.tar.gz

创建软链接

[hadoop@hadoop soft]$ ls hadoop-2.7.3 jdk jdk1.8.0_271 
#创建软链接 
[hadoop@hadoop soft]$ ln -s hadoop-2.7.3 hadoop 
[hadoop@hadoop soft]$ ls hadoop hadoop-2.7.3 jdk jdk1.8.0_271

配置环境变量

vim ~/.bashrc

在文件末尾添加一下内容

## HADOOP_HOME 是刚才解压的路径
export HADOOP_HOME=~/soft/hadoop 
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让配置立即生效

source ~/.bashrc

验证是否配置成功

[root@hadoop soft]# hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /root/soft/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar

出现以下内容说明配置成功

设置免密登录

执行 ssh-keygen -t rsa 命令后，再连续敲击3次回车

[hadoop@node1 soft]$ ssh-keygen -t rsa 
Generating public/private rsa key pair. 
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
Created directory '/home/hadoop/.ssh'. 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /home/hadoop/.ssh/id_rsa. 
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. 
The key fingerprint is: 
SHA256:sXZw/coSYm19gGSLdOLQGeskm+vPVr6lXENvmmQ8eeo hadoop@hadoop 
The key's randomart image is: 
+---[RSA 2048]----+ 
| ..+o+ | 
| +oB + | 
| . B + o | 
| * * . o | 
| o S = o o | 
| + +.= = | 
| . o. % + | 
| . ....B O | 
| .oo +oE | 
+----[SHA256]-----+

查看生成的秘钥对

[hadoop@hadoop soft]$ ls ~/.ssh/ 
id_rsa id_rsa.pub

追加公钥，执行命令后，根据提示输入 yes 再次回车

ssh-copy-id hadoop

查看生成的认证文件 authorized_keys

[hadoop@hadoop soft]$ ls ~/.ssh/ authorized_keys id_rsa id_rsa.pub known_hosts
验证免密
[root@hadoop soft]# ssh hadoop
Last login: Mon Apr 25 21:13:35 2022 from 10.111.43.4
[root@hadoop ~]# exit
logout
Connection to hadoop closed.

##还可以ssh ip
[root@hadoop soft]# ssh 10.111.43.55
Last login: Mon Apr 25 22:57:59 2022 from hadoop
[root@hadoop ~]# exit
logout
Connection to 10.111.43.55 closed.
[root@hadoop soft]#

配置hadoop伪分布式

进入hadoop配置目录 cd ${HADOOP_HOME}/etc/hadoop

[root@hadoop soft]# cd ${HADOOP_HOME}/etc/hadoop
[root@hadoop hadoop]# ls
capacity-scheduler.xml  core-site.xml   hadoop-metrics2.properties  hdfs-site.xml            httpfs-signature.secret  kms-env.sh            log4j.properties  mapred-queues.xml.template  slaves                  yarn-env.cmd
configuration.xsl       hadoop-env.cmd  hadoop-metrics.properties   httpfs-env.sh            httpfs-site.xml          kms-log4j.properties  mapred-env.cmd    mapred-site.xml             ssl-client.xml.example  yarn-env.sh
container-executor.cfg  hadoop-env.sh   hadoop-policy.xml           httpfs-log4j.properties  kms-acls.xml             kms-site.xml          mapred-env.sh     mapred-site.xml.template    ssl-server.xml.example  yarn-site.xml
[root@hadoop hadoop]#

配置hadoop-env.sh

[hadoop@hadoop hadoop]$ vim hadoop-env.sh

配置JAVA_HOME

export JAVA_HOME=/root/soft/jdk

配置 core-site.xml , 在与之间添加如下配置

<property>
	<name>fs.defaultFS</name> 
	<value>hdfs://hadoop:8020</value> 
	<!-- 以上主机名hadoop要按实际情况修改 --> 
</property> 
<property>
	<name>hadoop.tmp.dir</name> 
	<value>/home/hadoop/soft/hadoop/tmp</value> 
</property>

配置 hdfs-site.xml

<property>
	<name>dfs.replication</name> 
	<value>1</value> 
</property>

复制模板文件mapred-site.xml.template为mapred-site.xm

[hadoop@hadoop hadoop]$ cp mapred-site.xml.template mapred-site.xml

配置 mapred-site.xml
同样在与之间添加配置内容，配置内容如下：

<property>
	<name>mapreduce.framework.name</name> 
	<value>yarn</value> 
</property>

以上设置了mapreduce运行在yarn框架之上。

配置 yarn-site.xml
同样在与之间添加配置内容，配置内容如下：

<property> 
	<name>yarn.resourcemanager.hostname</name> 
	<value>hadooop</value> 
</property> 
<!-- 以上主机名hadoop要按实际情况修改 --> 
<property> 
	<name>yarn.nodemanager.aux-services</name> 
	<value>mapreduce_shuffle</value> 
</property>

配置 slaves

vim slaves

将localhost修改为主机名，例如: hadoop
在这里插入图片描述
格式化文件系统

hdfs namenode -format

若能看到Exiting with status 0，则格式化成功
在这里插入图片描述
注意：格式化只需要做一次，格式化成功后，以后就不能再次格式化了。

启动hadoop

[root@hadoop hadoop]# start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [hadoop]
hadoop: namenode running as process 2699. Stop it first.
hadoop: datanode running as process 2839. Stop it first.
Starting secondary namenodes [0.0.0.0]
0.0.0.0: secondarynamenode running as process 3026. Stop it first.
starting yarn daemons
resourcemanager running as process 9309. Stop it first.
hadoop: starting nodemanager, logging to /root/soft/hadoop-2.7.3/logs/yarn-root-nodemanager-hadoop.out
[root@hadoop hadoop]# jps
3026 SecondaryNameNode
16180 NodeManager
2839 DataNode
16328 Jps
2699 NameNode
9309 ResourceManager
[root@hadoop hadoop]#

验证进程hdfs是否正常，正常应三个包含：NameNode、DataNode、SecondaryNameNode
验证进程，yarn进程为：ResourceManager、NodeManager

验证

浏览器验证 10.111.43.55:50070
在这里插入图片描述

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

Java

HDFS

yarn

大数据

centos7下安装Hadoop伪分布式 的相关文章

随机推荐

  • pygame从入门到放弃(一)

    首先pip 那个pygame 然后看代码 临时写的 图片就不插了 防止舍友砍我 现在是凌晨 TOC 井字棋游戏 此代码基本能立于不败之地 import random 可视化输出 def draw Board board print prin

  • gcc中预定义的宏__GNUC__ __GNUC_MINOR__ __GNUC_PATCHLEVEL__

    今天在看Linux系统编程这本书的代码的时候看到了 GNUC 不太清楚这个宏所以去查了一下 以此记录 GNU C预定义了一系列的宏 这些宏都是以双下划线开始的 这里只讲一下 GNUC GNUC MINOR GNUC PATCHLEVEL 完

  • vue中this.$set()的用法

    1 this set 的作用 向响应式对象中添加一个属性 并确保这个新属性同样是响应式的 且触发视图更新 this set 用于向响应式对象上添加新属性 因为 Vue 无法探测普通的新增属性 简单来说 就是我们在methods中给数据添加了

  • 整数拆分--

    题目描述 一个整数总可以拆分为2的幂的和 例如 7 1 2 4 7 1 2 2 2 7 1 1 1 4 7 1 1 1 2 2 7 1 1 1 1 1 2 7 1 1 1 1 1 1 1 总共有六种不同的拆分方式 再比如 4可以拆分成 4

  • [每日两题系列]刷算法题咯~~

    今日题目 最小栈 有效的括号 本系列所选题目均来自力扣或者牛客网站 所选题目主要是以其中的简单题为主 中等题为辅 包含少数困难题 原因是 本人目前能力还不够 开展这个系列的目的是督促自己 在暑假的时间里也要保持有一定的刷题量 拒绝摆烂 话不

  • FISCO BCOS 联盟链Max搭建

    FISCO BCOS Max版本 版本说明 为了能够支撑海量交易上链场景 v3 0 0推出了Max版本FISCO BCOS Max版本FISCO BCOS旨在提供海量存储服务 高性能可扩展的执行模块 高可用的故障恢复机制 Max版FISCO

  • ZYNQ #2 - Linux环境下烧录BOOT.BIN从QSPI-FLASH启动

    这篇博文讲述的是在Linux环境下 将生成的新BOOT BIN利用dd指令写入板上qspi flash中 板子从flash启动后 转至SD卡执行linux内核 这篇博文是为了之后不使用SD卡 将linux内核以及根文件系统放入emmc启动做

  • Web前端复习——Javascript（字符串）

    1 什么是字符串 字符串是多个字符组成的一个 只读 的集合 数组 注意 1 凡是数组对象中 不修改原对象的API 字符串都能用 比如 length属性 字符个数 用 i 访问每个字符 slice indexof 2 凡是数组对象中 直接修改

  • DocArray 和 Redis 联手，让推荐系统飞起来

    在DocArray中使用Redis后端 基于向量相似性搜索可以快速搭建一个实时商品推荐系统 现在 跟上我们的脚步 一起了解搭建系统的关键步骤 并且深入了解推荐的原理吧 推荐系统会根据用户画像 历史行为 如购买 喜欢 浏览等 给用户的兴趣建模

  • 36.求解简单的四则运算表达式，输入一个形式如“操作数  运算符  操作数”的四则运算表达式，输出运算结果

    36 求解简单的四则运算表达式 输入一个形式如 操作数 运算符 操作数 的四则运算表达式 输出运算结果 include

  • SpringCloud（注册中心）

    分布式架构与微服 restfu分格 入参的分格 rest分格 请求的分格 微服务 单体架构的应用场景 微服务的应用场景 上百个服务 服务于服务之间是有依赖关系的 什么是springcloud 当下流行的微服务 注册中心Eureka 注册中心

  • LeetCode-336.回文对、字典树、字符串翻转

    给定一组唯一的单词 找出所有不同 的索引对 i j 使得列表中的两个单词 words i words j 可拼接成回文串 示例 1 输入 abcd dcba lls s sssll 输出 0 1 1 0 3 2 2 4 解释 可拼接成的回文

  • N进制转十进制-C语言

    N进制到十进制 include

  • linux下eclipse集成tomcat(tomcatforEclipse)开发

    TomcatforEclipse http www eclipsetotale com 用linux 中的uzip 解压 zip 解压缩后 把解压后的文件夹放到 eclipse中的plugins中 插件特点 1 启动和停止Tomcat 4

  • IEnumerable和IEnumerator 详解

    初学C 的时候 老是被IEnumerable IEnumerator ICollection等这样的接口弄的糊里糊涂 我觉得有必要切底的弄清楚IEnumerable和IEnumerator的本质 下面我们先看IEnumerable和IEnu

  • Open3D Ransac点云球面拟合（python详细过程版）

    目录 一 算法原理 二 代码实现 三 结果展示 一 算法原理 见 1 Open3D 最小二乘拟合空间球 2 Open3D RANSAC三维点云球面拟合 二 代码实现 import open3d as o3d import numpy as

  • 快速排序（四）—— 非递归排序

    前面实现了快排的递归实现 并对其进行优化 但是递归需要在栈上为函数开辟空间 32位下 栈可使用的内存大小不超过2G 如果递归较深 依然可能会发生栈溢出 这个时候递归排序就不大适用 所以需要非递归出场 1 基础思路 1 新建一个队列 队列中存

  • 汇编程序设计与计算机体系结构,《汇编程序设计与计算机体系结构：软件工程师教程》 —3.2　基本元素...

    3 2 基本元素 与高级语言不同 汇编语言是一种底层语言 它的每一行代码只执行一项操作 要想写出汇编代码 必须了解与计算机体系结构有关的一些细节 例如 CPU 寄存器 标志位 以及浮点运算功能等 对于编程新手来说 通过这些底层细节编写汇编代

  • 【Windows】DNS优选（挑选最合适的DNS服务器）

    引言 笔者在之前的文章详解DNS服务 DNS解析 DNS劫持和污染中已经详细介绍过 DNS 了 今天给大家带来一款免费的 DNS 优选工具 仅适用 Windows 帮助大家提高上网速度 拒绝 DNS 劫持 获得更佳的上网体验 下载 官网地址

  • centos7下安装Hadoop伪分布式

    虚拟机或服务器准备 安装centos7的操作系统 安装过程请自行百度 查看是否可以通网络 使用ping 163 com 如果ping不通 可以修改网卡 一般在 etc sysconfig network scripts 的文件夹下 修改if

热门标签