傻瓜式Hadoop 集群部署

2023-11-12

傻瓜式Hadoop集群部署(资料来自网上并经过本人整理)

Hadoop编译篇:

一.Hadoop下载

1.在Hadoop官网上下载hadoop-2.7.2的源码包,下载地址:http://mirrors.noc.im/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz 
2. 把下载下来的源码包,上传到linux上,在这里我放在了/home/soft/下

二.准备linux上运行环境 

1. 上传jdk、ant、maven、protobuf等到到linux上,在这里我放在了/home/soft/下 
2. 安装jdk 
使用命令:rpm -ivh jdk-7u67-linux-x64.rpm 
安装完后配置环境变量,修改/etc/profile文件,命令:vi/etc/profile 
在最后添加内容: 
export JAVA_HOME=/usr/Java/jdk1.7.0_67/ 
export PATH=$PATH:$JAVA_HOME/bin
使用命令生效:source /etc/profile 
测试:java -version 
3.安装maven 
解压maven到/opt/目录下,并配置环境变量 
解压命令:tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /opt/ 
修改/etc/profile文件,在文件末尾新增下面两行内容: 
export MAVEN_HOME=/opt/apache-maven-3.3.9 
export PATH=$PATH:$MAVEN_HOME/bin 
使用命令生效:source /etc/profile 

测试命令:mvn -v
4.安装g++ 
安装命令:yum -y install gcc gcc-c++ 
5.安装protobuf 
解压protobuf到当前目录 
解压命令:tar -zxvf protobuf-2.5.0.tar.gz 
cd protobuf-2.5.0/ 
编译安装 
$ ./configure

$ make

$ make check

$ make install

配置环境变量,修改/etc/profile文件,末尾添加下面两行内容: 
export PROTOBUF_HOME=/opt/protobuf-2.5 
export PATH=$PATH:$PROTOBUF_HOME/bin 
使用命令生效:source /etc/profile 

验证安装成功:protoc --version
6.安装openssl 
安装命令:yum -y install openssl-devel 
7.安装cmake 点击打开链接
安装命令:yum -y install cmake 
8.安装ant 
解压ant到/opt/目录下,并配置环境变量 
解压命令:tar -zxvf apache-ant-1.9.7-bin.tar.gz -C /opt/ 
修改/etc/profile文件,在文件末尾新增下面两行内容: 
export ANT_HOME=/opt/apache-ant-1.9.7/ 
export PATH=$PATH:$ANT_HOME/bin 
使用命令生效:source /etc/profile

三.编译 

1.解压hadoop-2.7.2 tar包 
解压命令:tar -zxvfhadoop-2.7.2-src.tar.gz 
2.编译 
cd hadoop-2.7.2-src 
编译命令:mvn package -Pdist,native-DskipTests -Dtar 
3.编译成功并查看 
编译完成后,在hadoop-dist/target/目录下查看,会有hadoop-2.7.2.tar.gz这个文件 

四.问题总结 

1.编译过程中会报各种错,可以直接终止编译,在重新执行编译,多执行几次就可以了,一般都是因为网络原因jar包下载有问题或maven仓库连接超时等原因,我共执行了5次就成功了。在说明下,我在用root用户执行编译的,如果用其他的用户编译可能会存在权限问题。

2.Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile错误呀,很可能是你jdk版本太低或者 JAVA_HOME变量配置错了,还有可能是再次清理编译一遍就可以了命令是:mvn clean 然后再运行编译就好啦

3.centos 自带的jdk编译hadoop 也会出2的错误那么就要你卸载自带的openjdk 重新安装官网上的jdk了方法参照http://whttp://fangwei009.blog.51cto.com/5234706/1673275ww.cnblogs.com/sixiweb/archive/2012/11/25/2787684.html

CentOS安装JAVA后JAVA版本不对的问题 http://fangwei009.blog.51cto.com/5234706/1673275

 


Hadoop详细部署链接

Hadoop 部署精简版:

 

 

 


本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

傻瓜式Hadoop 集群部署 的相关文章

随机推荐

  • 虚拟服务器本地ssd型,云服务器本地ssd型

    云服务器本地ssd型 内容精选 换一换 若您对扩展的云服务器的规格有特殊的要求 可通过使用新模板创建伸缩配置 可按照您的需求配置新模板的规格参数 使得伸缩组内云服务器的规格均符合创建新模板的规格 登录管理控制台 选择 计算 gt 弹性伸缩
  • Python实现PP图和QQ图的应用

    Python实现PP图和QQ图的应用 在数据可视化领域 PP图和QQ图常常被用作数据研究和分析的工具 PP图 Probability Probability plot 和QQ图 Quantile Quantile plot 是由概率论和统计
  • Qt中的坐标系统

    1 坐标系统 GUI操作系统都有特定的坐标系统 图形界面程序在坐标系统中进行窗口和部件的定位 定位类型 顶级窗口部件的定位 窗口内部件的定位 窗口部件的大小设置 Qt使用统一的坐标系统定位窗口部件的位置和大小 Qt部件提供成员函数在坐标系统
  • T-SQL语句添加约束

    语法 ALTER TABLE 表名 ADD CONSTRAINT约束名约束类型 具体的约束声明 约束名的取名规则推荐采用 约束类型 约束列 当然你也可以不这么命名 这样单纯是比较方便 如 主键 Primary Key 约束 PK UserI
  • python爬虫Request

    1 先确定是否为动态加载网站 2 找URL规律 3 正则表达式 xpath表达式 4 定义程序框架 补全并测试代码 1 request是什么 Requests是用python语言基于urllib编写的 采用的是Apache2 License
  • AVPlayer耳机插拔

    AVPlayer耳机插拔暂停播放 耳机插拔监听 NSNotificationCenter defaultCenter addObserver self selector selector audioRouteChanged name AVA
  • Qt4代码移植Qt5时的 QTcpServer 64位 BUG

    原Qt4上接口代码如下 void QTcpServer incomingConnection int socketDescriptor 移植到Qt5后 BUG现象就是 用MinGW32位编译出来的程序 QTcpServer工作正常 但用Mi
  • 最新uniapp大佬级应用整理,谁说uniapp做不出好东西是小儿科

    最近经济 就业都不太好 在家躺平各位i兄弟看过来了 大佬从不抱怨环境 给大家整理几款uniapp神级作品 1 舒尔他方格听说过吧 可以锻炼思维和反应速度 免费开源要不要 下载地址 https ext dcloud net cn plugin
  • ARM DS5调试记录(1)安装&调试介绍

    一 安装说明 说明 安装文档已经把相应的细节介绍得很清楚了 这里主要是就之前安装遇到的问题和解决办法进行记录 1 安装虚拟网卡时 出现 系统资源不足 无法满足所需的服务 目前没有太好的解决办法 我是通过系统还原解决的 后面 有更好的解决办法
  • Arduino(三)——按钮控制数码管

    本节 我们学习一下内容 1 用按键控制数码管从1 9显示 然后再清零 2 外部中断函数 1 我们先来看下面的图 我们需要根据我们按键是否连通来连接我们的电路 所以我们连接好后就会是这样的 看完了连接图 接下来就要看我们的任务了 也就是让数码
  • 通达信公式破解

    通达信公式破解 通达信股票公式的导入方法 http blog sina com cn s blog 7f809c880102vk1n html 1 你下载到公式文件 XXXXX tne 后 保存或复制一份到桌面 或 我的文档 或你喜欢存放的
  • 控制工程学习4

    一 一阶系统的单位阶跃响应 单位跃阶 a起决定作用 在单位跃阶中时间常数t 等于a分之一的时候x 0 63 时间常数为系统特有 在稳定时间即4倍时间常数则等于0 98 二 非零初始条件下的传递函数 当t 0时即x 0 输入有两项为u s 和
  • 2024秋招海康威视前端笔试大题笔经

    文章目录 杂谈 大题及大致解析 论述题 1 html和htmls的区别 2 什么是深拷贝 什么是浅拷贝 如何实现 编程题 1 大人小孩排队 2 数组内是否存在 nums i nums j t 且 i j k 杂谈 考得不是很难 一开始进去会
  • C++的类模板

    1 类模板基本语法 template
  • 麒麟V10系统安装教程

    1 准备麒麟V10镜像 第一种方法 访问麒麟官网 https www kylinos cn scheme desktop 2 htmlhttps www kylinos cn scheme desktop 2 html点击申请使用 填写个人
  • Python:字典嵌套字典的数据类型,如何取出字典外部以及层级嵌套字典的键值对

    思路整理 1 循环遍历取出外层的 key 和 value 的值 2 判断遍历后的 value 数据类型是否为 字典 dict 3 if true 则再次循环遍历取出 key 和 value 的值 代码实现 coding utf 8 Time
  • 小程序navigateTo与redirectTo,跳转页面报错:fail webview count limit exceed

    前言 小程序中涉及跳转页面报错 fail webview count limit exceed 目录 报错信息 报错原因 官方介绍navigateTo 解决方法 官方介绍redirectTo 报错信息 报错原因 官方介绍navigateTo
  • 一图看懂 openai 模块:ChatGPT的API python库, 资料整理+笔记(大全)

    本文由 大侠 AhcaoZhu 原创 转载请声明 链接 https blog csdn net Ahcao2008 一图看懂 openai 模块 ChatGPT的API python库 资料整理 笔记 大全 摘要 模块图 类关系图 结束 摘
  • WebRTC 开发实践:为什么你需要 SFU 服务器

    转自 https blog 51cto com ticktick 2349113 当你入门 WebRTC 之后 很快就会接触到一个名词 叫做 SFU 你可能很容易就在网上寻找到很多 SFU 的开源实现 并并兴致勃勃地开始编译 部署和测试这些
  • 傻瓜式Hadoop 集群部署

    傻瓜式Hadoop集群部署 资料来自网上并经过本人整理 Hadoop编译篇 一 Hadoop下载 1 在Hadoop官网上下载hadoop 2 7 2的源码包 下载地址 http mirrors noc im apache hadoop c