程序员经验分享-hwhale

centos编译hadoop源码包

2023-05-16

一、所需工具

JDK
maven
protobuf
CMake
ant
hadoop-2.x.x-src

如下所示：
在这里插入图片描述
二、安装
1、安装jdk
2、安装maven
可以参考如下地址：
https://blog.csdn.net/qq_26709459/article/details/80466239

3、安装protobuf
首先安装如下工具：

yum install gcc
yum install gcc-c++     
yum install make

安装完如上工具后开始安装protobuf：
先解压

tar -zvxf protobuf-2.5.0.tar.gz

进入解压目录：

 cd protobuf-2.5.0

执行如下命令

./ configure
make
make install

查看是否安装成功

protoc  --version

如下所示：
在这里插入图片描述

4、安装CMake

yum install cmake     
yum install openssl-devel
yum install ncurses-devel

查看当前版本：

cmake --version

如下所示：
在这里插入图片描述
5、安装ant
解压：

 tar -zxvf apache-ant-1.9.14-bin.tar.gz

配置环境变量：

vim /etc/profile

加入如下内容：

export ANT_HOME=/usr/local/dev/ant/apache-ant-1.9.14
export PATH=.:$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin

注：ant目录根据自己目录配置。

让配置生效：

source /etc/profile

查看是否安装成功：

ant -version

在这里插入图片描述

6、编译hadoop源码包
解压：

tar -zxvf hadoop-2.7.4-src.tar.gz

解压之后进入解压目录，可以看到里面有一个“BUILDING.txt”文件，里面注明了编译所需要的一些环境要求。

进入解压目录：

cd hadoop-2.7.4-src/

编译hadoop：

mvn package -Pdist -DskipTests -Dtar -Dmaven.javadoc.skip=true      仅编译正常源码部分，对于native部分不进行编译，最终结果打包
或
mvn package -Pdist,native,docs -DskipTests -Dtar       编译正常部分源码、native依赖库以及帮助文档，最终结果打包

看到如下信息则表示编译成功：

[INFO] Executed tasks
[INFO]
[INFO] --- maven-javadoc-plugin:2.8.1:jar (module-javadocs) @ hadoop-dist ---
[INFO] Skipping javadoc generation
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary for Apache Hadoop Main 2.7.4:
[INFO]
[INFO] Apache Hadoop Main ................................. SUCCESS [01:29 min]
[INFO] Apache Hadoop Build Tools .......................... SUCCESS [ 53.817 s]
[INFO] Apache Hadoop Project POM .......................... SUCCESS [ 18.119 s]
[INFO] Apache Hadoop Annotations .......................... SUCCESS [ 10.544 s]
[INFO] Apache Hadoop Assemblies ........................... SUCCESS [  0.321 s]
[INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [ 14.711 s]
[INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [ 23.348 s]
[INFO] Apache Hadoop MiniKDC .............................. SUCCESS [05:00 min]
[INFO] Apache Hadoop Auth ................................. SUCCESS [02:37 min]
[INFO] Apache Hadoop Auth Examples ........................ SUCCESS [ 12.242 s]
[INFO] Apache Hadoop Common ............................... SUCCESS [03:05 min]
[INFO] Apache Hadoop NFS .................................. SUCCESS [  1.767 s]
[INFO] Apache Hadoop KMS .................................. SUCCESS [ 36.501 s]
[INFO] Apache Hadoop Common Project ....................... SUCCESS [  0.108 s]
[INFO] Apache Hadoop HDFS ................................. SUCCESS [01:10 min]
[INFO] Apache Hadoop HttpFS ............................... SUCCESS [ 12.646 s]
[INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [ 27.643 s]
[INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [  1.616 s]
[INFO] Apache Hadoop HDFS Project ......................... SUCCESS [  0.105 s]
[INFO] hadoop-yarn ........................................ SUCCESS [  0.097 s]
[INFO] hadoop-yarn-api .................................... SUCCESS [  8.547 s]
[INFO] hadoop-yarn-common ................................. SUCCESS [01:28 min]
[INFO] hadoop-yarn-server ................................. SUCCESS [  0.109 s]
[INFO] hadoop-yarn-server-common .......................... SUCCESS [  2.192 s]
[INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [  4.270 s]
[INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [  1.050 s]
[INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [  2.050 s]
[INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [  8.709 s]
[INFO] hadoop-yarn-server-tests ........................... SUCCESS [  1.530 s]
[INFO] hadoop-yarn-client ................................. SUCCESS [  1.893 s]
[INFO] hadoop-yarn-server-sharedcachemanager .............. SUCCESS [  1.269 s]
[INFO] hadoop-yarn-applications ........................... SUCCESS [  0.082 s]
[INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [  0.911 s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [  0.735 s]
[INFO] hadoop-yarn-site ................................... SUCCESS [  0.069 s]
[INFO] hadoop-yarn-registry ............................... SUCCESS [  1.555 s]
[INFO] hadoop-yarn-project ................................ SUCCESS [  4.385 s]
[INFO] hadoop-mapreduce-client ............................ SUCCESS [  0.251 s]
[INFO] hadoop-mapreduce-client-core ....................... SUCCESS [  5.753 s]
[INFO] hadoop-mapreduce-client-common ..................... SUCCESS [  3.817 s]
[INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [  1.173 s]
[INFO] hadoop-mapreduce-client-app ........................ SUCCESS [  3.562 s]
[INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [  2.683 s]
[INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [  9.222 s]
[INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [  0.567 s]
[INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [  1.940 s]
[INFO] hadoop-mapreduce ................................... SUCCESS [  2.674 s]
[INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [  5.085 s]
[INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [ 12.091 s]
[INFO] Apache Hadoop Archives ............................. SUCCESS [  0.626 s]
[INFO] Apache Hadoop Rumen ................................ SUCCESS [  1.251 s]
[INFO] Apache Hadoop Gridmix .............................. SUCCESS [  1.378 s]
[INFO] Apache Hadoop Data Join ............................ SUCCESS [  0.551 s]
[INFO] Apache Hadoop Ant Tasks ............................ SUCCESS [  0.330 s]
[INFO] Apache Hadoop Extras ............................... SUCCESS [  0.701 s]
[INFO] Apache Hadoop Pipes ................................ SUCCESS [  0.055 s]
[INFO] Apache Hadoop OpenStack support .................... SUCCESS [  0.960 s]
[INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [01:13 min]
[INFO] Apache Hadoop Azure support ........................ SUCCESS [ 13.848 s]
[INFO] Apache Hadoop Client ............................... SUCCESS [  5.496 s]
[INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [  1.881 s]
[INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [  2.662 s]
[INFO] Apache Hadoop Tools Dist ........................... SUCCESS [  4.871 s]
[INFO] Apache Hadoop Tools ................................ SUCCESS [  0.068 s]
[INFO] Apache Hadoop Distribution ......................... SUCCESS [ 15.156 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  22:54 min
[INFO] Finished at: 2019-05-29T21:30:38+08:00
[INFO] ------------------------------------------------------------------------

编译完成之后 hadoop-dist文件夹，进入里面的target就可以找到编译之后的安装包。
hadoop-2.7.4-src/hadoop-dist/target/hadoop-2.7.4.tar.gz
在这里插入图片描述
注：若编译过程中遇到错误，百度解决吧!!!

相关资料如下，需者自提：
链接：https://pan.baidu.com/s/13zaUO0y1VbUz4vF_vRHNDg
提取码：uy1c

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

centOS

Hadoop

centos编译hadoop源码包 的相关文章

随机推荐

  • Ubuntu下安装并配置Redmine

    Redmine安装与使用 Redmine是什么 xff1f Redmine是用Ruby开发的基于web的项目管理软件 xff0c 是用ROR框架开发的一套跨平台项目管理系统 xff0c 支持多种数据库 xff0c 多项独特功能 这种 Web

  • Ubuntu下安装ReviewBoard

    ReviewBoard安装与使用 ReviewBoard是什么 xff1f ReviewBoard是个开源的 可扩展的 友好的基于Web的代码评审工具 xff0c 是用Python框架Django开发的 ReviewBoard是通过Pyth

  • Ubuntu安装redis，Docker下安装redis以及redis基本配置说明

    一 什么是redis redis是一个key value存储系统 和Memcached类似 xff0c 它支持的数据类型相对更多 xff0c 包括string 字符串 list 链表 set 集合 zset sorted set 有序集合

  • Ubuntu安装memcache

    一 什么是memcache memcache是一个高性能的分布式的内存对象缓存系统 xff0c 通过在内存里维护一个统一的巨大的hash表 xff0c 它能够用来存储各种格式的数据 xff0c 包括图像 视频 文件以及数据库检索的结果等 简

  • Ubuntu安装Apache+Svn+Submin

    安装之前建议先更新 sudo apt update sudo apt upgrade 一 安装配置Apache 1 安装apache sudo apt install apache2 2 开启apache2模块 a2enmod rewrit

  • ROS坐标系统，常见的坐标系和其含义

    原链接 运行测试平台 小强ROS机器人 常见的坐标系 在使用ROS进行定位导航等操作时 xff0c 我们经常会遇到各种坐标系 每种坐标系都有明确的含义 理论上坐标系的名称可以是随意的 xff0c 但是为了方便不同的软件间共享坐标信息 xff

  • ReviewBoard+SVN配置强制code review

    本文需要在svn与reviewboard安装成功之后开始进行配置 xff0c 详情参考如下两篇文章根据实际情况操作 xff1a Ubuntu安装Apache 43 Svn 43 Submin https blog csdn net qq 2

  • Ubuntu安装配置Maven私服Nexus

    1 简介 Maven是什么 xff1f Maven是一个采用纯Java编写的开源项目管理工具 Maven采用了一种被称之为Project Object Model POM 的概念来管理项目 xff0c 所有的项目配置信息都被定义在一个叫做P

  • Ubuntu安装配置Docker

    一 Docker简介 Docker 是一个开源的应用容器引擎 xff0c 可以轻松的为任何应用创建一个轻量级的 可移植的 自给自足的容器 xff0c 让开发者可以打包他们的应用以及依赖包到一个可移植的容器中 xff0c 然后发布到任何流行的

  • Ubuntu安装ftp实现文件上传

    ftp服务安装与配置 sudo apt install vsftpd 外链图片转存失败 源站可能有防盗链机制 建议将图片保存下来直接上传 img UlscHRVo 1598855886357 https img blog csdn net

  • Docker安装Tomcat镜像并部署web项目简述

    一 安装Tomcat 1 查找Docker Hub上的tomcat镜像 docker search tomcat 2 拉取官方的镜像 docker pull tomcat 等待下载完毕 xff0c 需要一些时间 3 查看docker所有的镜

  • Docker删除镜像和容器

    删除docker中的镜像 xff0c 我们可以使用如下命令 xff1a docker rmi 镜像id 删除docker中的容器可以使用如下命令 xff1a docker rm 容器id 使用如下命令可以查看当前正在运行的容器 docker

  • ubuntu安装SonarQube实现代码质量检测

    一 ubuntu中安装jdk 下载并安装jdk 详细过程可参考 xff1a https blog csdn net qq 26709459 article details 80466239 二 ubuntu中安装mysql 详细过程可参考

  • springboot整合quartz(集群环境)

    使用quartz实现定时任务 xff0c 若是部署多台机器 xff0c 那么到了时间点 xff0c 多台服务器便会同时均开始执行定时任务 xff0c 这不符合我们的功能实现 quartz集群分为水平集群和垂直集群 xff0c 水平集群即将定

  • tomcat集群环境下实现负载均衡、session共享

    一 高可用 高可用HA High Availability 是分布式系统稳定运行必须考虑的因素之一 xff0c 它指的是通过处理减少系统不能提供服务的时间 比如说系统能够一直正常提供服务 xff0c 我们就说这个系统可用性为100 我们知道

  • 搭建RocketMq

    安装所需要的所有安装包 自己可以搜索源码自己打包 xff0c 也可以自己百度下载 xff0c 下面的是我的相关软件包 xff0c 有需要可以自己下载 xff1a https download csdn net download qq 267

  • ros launch中的节点工作空间路径

    原链接 运行测试平台 小强ROS机器人 在launch文件中启动节点 xff0c 那么这个节点的工作目录是什么呢 xff1f 在node程序中如果创建一个文件 xff0c 这个文件的默认位置在哪里 xff1f 在launch中node节点有

  • 搭建Git服务器并安装管理工具Gitblit

    一 安装Git服务 1 移除旧版git yum remove git 2 下载git 在如下链接中可以看到git所有版本 xff0c 选择自己需要的版本进行下载 xff0c 这里我选择最新版本 https github com git gi

  • FastDFS的安装配置及其使用

    一 fastDFS是什么 fastDFS是c语言编写的一款开源分布式文件系统 xff0c 使用fastDFS可以很方便搭建一套高性能的文件服务器集群提供文件上传 下载等服务 二 fastDFS工作原理 fastDFS包括Tracker se

  • centos编译hadoop源码包

    一 所需工具 JDK maven protobuf CMake ant hadoop 2 x x src 如下所示 xff1a 二 安装 1 安装jdk 2 安装maven 可以参考如下地址 xff1a https blog csdn ne

热门标签