centos6.5 搭建hadoop 开发环境(单台服务器)

2023-11-13

一,安装环境 
硬件:虚拟机 
操作系统:Centos 6.4 64位 
IP:120.25.56.93 
主机名:120.25.56.93 

安装用户:root

二,安装JDK 
安装JDK1.6或者以上版本。这里安装jdk1.7.0_71。

具体安装步骤请参考该篇文章:centos 6.5 安装JDK

三,配置SSH无密码登陆

具体安装步骤哦,请参考该篇文章:centos 6.5 配置ssh 无密码登入


四,安装Hadoop2.7.0 
1,下载Hadoop2.7.0

下载路径待补充

2,解压安装 
1),复制 hadoop-2.7.0.tar.gz 到/opt/hadoop目录下, 
然后#tar -xzvf hadoop-2.7.0.tar.gz 解压,解压后目录为:/opt/hadoop/hadoop-2.7.0 


2),在/opt/hadoop/目录下,建立tmp、hdfs/name、hdfs/data目录,执行如下命令 
#mkdir /opt/hadoop/tmp 
#mkdir /opt/hadoop/hdfs 
#mkdir /opt/hadoop/hdfs/data 
#mkdir /opt/hadoop/hdfs/name

3),设置环境变量# vi /etc/profile

export HADOOP_HOME=/opt/hadoop/hadoop-2.7.0
export PATH=$HADOOP_HOME/bin:$PATH
重新编译全局资源文件 #  source /etc/profile

输出全局变量 # echo $PATH


3,Hadoop配置 
进入$HADOOP_HOME/etc/hadoop目录,配置 hadoop-env.sh等。涉及的配置文件如下: 
hadoop-2.7.0/etc/hadoop/hadoop-env.sh 
hadoop-2.7.0/etc/hadoop/yarn-env.sh 
hadoop-2.7.0/etc/hadoop/core-site.xml 
hadoop-2.7.0/etc/hadoop/hdfs-site.xml 
hadoop-2.7.0/etc/hadoop/mapred-site.xml 
hadoop-2.7.0/etc/hadoop/yarn-site.xml


1)配置hadoop-env.sh


# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jdk1.7.0_71
2)配置yarn-env.sh


#export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/lib/jdk1.7.0_71
3)配置core-site.xml 
添加如下配置:


<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>


<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>
4),配置hdfs-site.xml 
添加如下配置


<configuration>
<!—hdfs-site.xml-->
<property>
    <name>dfs.name.dir</name>
    <value>/root/hadoop/hdfs/name</value>
    <description>namenode上存储hdfs名字空间元数据 </description> 
</property>


<property>
    <name>dfs.data.dir</name>
    <value>/root/hadoop/hdfs/data</value>
    <description>datanode上数据块的物理存储位置</description>
</property>


<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
5),配置mapred-site.xml 
添加如下配置:


<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>
6),配置yarn-site.xml 
添加如下配置:


<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8099</value>
</property>
</configuration>
4,Hadoop启动 
1)格式化namenode


$ bin/hdfs namenode –format
2)启动NameNode 和 DataNode 守护进程


$ sbin/start-dfs.sh
3)启动ResourceManager 和 NodeManager 守护进程


$ sbin/start-yarn.sh
5,启动验证 
1)执行jps命令,有如下进程,说明Hadoop正常启动


# jps
54679 NameNode
54774 DataNode
15741 Jps
9664 Master
55214 NodeManager
55118 ResourceManager
54965 SecondaryNameNode


2)在浏览器中输入:http://120.25.56.93:8099/ 即可看到YARN的ResourceManager的界面。注意:默认端口是8088,这里我设置了yarn.resourcemanager.webapp.address为:${yarn.resourcemanager.hostname}:8099。 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

centos6.5 搭建hadoop 开发环境(单台服务器) 的相关文章

  • 从零开始的ESP8266探索(04)-连接/建立网络

    文章目录 目的 连接到网络 建立新网络 更多方式 总结 目的 使用ESP8266主要就是为了用它的网络功能 使用网络功能首先的就是需要连接到一个现有的网络 STA模式 或是建立一个网络 soft AP模式 连接到网络 在Arduino fo
  • GitHub YOLOv5 开源代码项目运行

    本专栏将从安装到实例运用全方位系列讲解 GitHub YOLOv5 开源代码 专栏地址 GitHub YOLOv5 开源代码项目系列讲解 目 录 1 源码下载及环境配置 2 利用 Yolov5 进行预测 2 1 对项目提供图片进行预测 2

随机推荐

  • 在离线渲染器中应用MERL BRDF

    BRDF Bidirectional Reflection Density Function 即出射光线的radiance和入射光线的irradiance的比值 在图形学中被用来描述物体的表面反射属性 BRDF的值一般来说由几个参数决定 入
  • MyBatis的使用

    目录 一 Sring项目中关于MyBatis的配置 1 在pom xml中引入框架依赖 2 配置文件配置相关信息 3 设置mapper中的xml文件内容 4 根据以上配置实现的查询示例 1 添加实体类 2 添加mapper接口 3 添加Us
  • FreeRTOS教程——队列(三)

    Free RTOS队列 队列函数库 1 xQueueCreate queue h xQueueHandle xQueueCreate unsigned portBASE TYPE uxQueueLength unsigned portBAS
  • java中的常用语句

    Java中的常用语句 一 Java中的语句由3大类的结构 1 顺序结构 自上而下一行一行的有序的执行 2 选择结构 1 If语句结构 2 Switch语句结构 3 循环结构 1 For循环 2 While循环 3 Do while 循环 二
  • OpenCV——常用函数

    一 绘制圆形 使用OpenCV库中的 circle 函数在图像上绘制圆形的代码 cv circle overlay pt 2 cv Scalar 0 green red 1 具体来说 它的参数如下 overlay 图像 在该图像上绘制圆形
  • input框在chrome浏览器下粘贴的默认底色

    Chrome浏览器对于input输入框的值会有一个默认的记录 导致后续在输入的时候出现 选择后在input框会出现一个默认底色 如图 这样对整个界面而言就感觉恨不协调 为了消去这种现象 可以在css中引入一下代码 input webkit
  • SpringMVC配置HelloWorld

    1 配置web xml文件
  • CrossEntropyloss function

    这里写目录标题 两部分 Part One 绕绕 可以不看 Part Two 清晰易懂 一定要看 两部分 Part One 绕绕 可以不看 Cross entropy loss function又称交叉熵损失 是基于one hot编码的 举个
  • 春秋云镜 CVE-2017-1000480

    春秋云镜 CVE 2017 1000480 Smarty lt 3 1 32 PHP代码执行漏洞 靶标介绍 3 1 32 之前的 Smarty 3 在未清理模板名称的自定义资源上调用 fetch 或 display 函数时容易受到 PHP
  • 根因分析告警(进行根因分析的要素)

    本文目录一览 1 相比传统运维工具 AIOps的优势在哪里 2 根因分析法是什么 3 IT运维平台算法背后的两大 神助攻 4 系统管理提供什么 日志管理和备份恢复功能 相比传统运维工具 AIOps的优势在哪里 所谓的AIOps 简单理解就是
  • ctf.show web3 文件包含+php伪协议+命令执行

    ctf show web3 php伪协议 文件包含 命令执行 题目的提示 一开始的页面 看到这个语句 那就是文件包含了 先试下file etc passwd 有反应 试下有没有flag txt文件 好像没有这个文件 那现在我们利用php伪协
  • Ubuntu18.04找不到wifi适配器解决办法以及怎么上网

    目录 一 有线上网办法 二 ubuntu找不到wifi适配器解决办法 三 有线无线均上不了网办法 四 最终问题解决 写在前面 如果大家已经尝试了很多方法进来的 可以先看看我目录里的第四部分 说不定跟我同样的问题 一 有线上网办法 拿起你的手
  • 读傅里叶级数有感

    老实讲 傅里叶级数还真的挺厉害的 但是 想到这个东西的人很厉害 把它说明白的人也很厉害 唯一不厉害的就是 指定我们教材的那帮人和学这些教材出来自以为他们掌握了这些内容却实际上根本讲不明白的人 好吧 其实不得已 看到图像可以从时域和频域两个维
  • 五万字整理Mybatis 入门只需要一篇文章

    这里写目录标题 一 简介 1 1 什么是mybatis 1 2 持久化 1 3 持久层 1 4 为什么需要学习mybatis 二 mybatis中的专业名词 三 第一个mybatis程序 3 1 搭建环境 3 1 1 创建一个数据库 3 1
  • 堆栈详解(数据与内存中的存储方式)

    转自 http www 360doc com content 11 0428 18 6580811 112988089 shtml char r hello word char b hello word r w b w 其实应该是语法错误
  • 从远程桌面客户端提取明文凭证的工具RdpThief

    介绍 远程桌面 RDP 是用于管理Windows Server的最广泛使用的工具之一 除了被管理员使用外 也容易成为攻击者的利用目标 登录到RDP会话的凭据通常用于是具有管理权限的 这也使得它们成为红队行动的一个理想目标 站在传统的角度看
  • Java实现S-DES加密算法

    S DES 为了更好的理解DES算法 美国圣塔克拉拉大学的Edward Schaefer教授于1996年开发了Simplified DES方案 简称S DES方案 它是一个供教学二非安全的加密算法 它与DES的特性和结构类似 但参数小 明文
  • IDEA Services窗口启动应用后突然不显示端口号

    转载 原先可以显示端口号的 但是换了个工程以后突然就不显示了 网上对于新安装的idea不显示端口号的解决方案并不适用 好在找到了解决办法 处理前 处理后 1 打开文件管理器 2 打开路径C Users l用户名 AppData Local
  • narwal无法连接机器人_懒无止境 能自己洗抹布的云鲸J1扫拖机器人

    0 篇首语 如果让我总结过去的2019年又哪几样产品 显著的提升了我的幸福感让生活变得更加方便 那么智能指纹锁和扫地机器人一定可以排在最前面 指纹锁其实不用多说出门无需担心没带钥匙 抬手就能开门的流畅体验确实是非常非常的方便 而扫地机器人也
  • centos6.5 搭建hadoop 开发环境(单台服务器)

    一 安装环境 硬件 虚拟机 操作系统 Centos 6 4 64位 IP 120 25 56 93 主机名 120 25 56 93 安装用户 root 二 安装JDK 安装JDK1 6或者以上版本 这里安装jdk1 7 0 71 具体安装