程序员经验分享-hwhale

redhat7源码编译hadoop2.6.0

2023-05-16

        以前在32位linux机器上编译过hadoop2.6.0,这次在redhat7 64bit上再次编译hadoop2.6.0，除必须的jdk,maven,protobuf需要安装之外，还需要安装系统依赖库gcc,gcc-c++,ncurses-devel,openssl-devel,cmake,这些依赖库的安装可以直接通过yum命令一下安装: yum install -y gcc gcc-c++ cmake openssl-devel ncurses-devel,依赖库之间通过空格分割。

        这次的安装还是遇到了只能使用jdk1.7编译的问题。如果使用jdk1.8，会报如下图所示的错误。[ERROR] Exit code:1 - /home/hadoop/hadoop-2.6.0-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexcepted end tag: </ul>

   

遇到这个错误，我们只能将jdk换成1.7，之后顺利编译通过。
编译命令：mvn package -DskipTests -Pdist,native -Dtar
build success 
INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................. SUCCESS [  1.041 s]
[INFO] Apache Hadoop Project POM .......................... SUCCESS [  1.018 s]
[INFO] Apache Hadoop Annotations .......................... SUCCESS [  1.937 s]
[INFO] Apache Hadoop Assemblies ........................... SUCCESS [  0.255 s]
[INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [ 15.730 s]
[INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [ 14.448 s]
[INFO] Apache Hadoop MiniKDC .............................. SUCCESS [ 25.414 s]
[INFO] Apache Hadoop Auth ................................. SUCCESS [ 15.027 s]
[INFO] Apache Hadoop Auth Examples ........................ SUCCESS [  7.052 s]
[INFO] Apache Hadoop Common ............................... SUCCESS [02:01 min]
[INFO] Apache Hadoop NFS .................................. SUCCESS [  8.556 s]
[INFO] Apache Hadoop KMS .................................. SUCCESS [02:31 min]
[INFO] Apache Hadoop Common Project ....................... SUCCESS [  0.029 s]
[INFO] Apache Hadoop HDFS ................................. SUCCESS [02:46 min]
[INFO] Apache Hadoop HttpFS ............................... SUCCESS [02:42 min]
[INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [ 14.788 s]
[INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [  3.519 s]
[INFO] Apache Hadoop HDFS Project ......................... SUCCESS [  0.029 s]
[INFO] hadoop-yarn ........................................ SUCCESS [  0.037 s]
[INFO] hadoop-yarn-api .................................... SUCCESS [01:12 min]
[INFO] hadoop-yarn-common ................................. SUCCESS [ 25.486 s]
[INFO] hadoop-yarn-server ................................. SUCCESS [  0.044 s]
[INFO] hadoop-yarn-server-common .......................... SUCCESS [ 11.236 s]
[INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [ 19.452 s]
[INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [  2.385 s]
[INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [  5.028 s]
[INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [ 15.531 s]
[INFO] hadoop-yarn-server-tests ........................... SUCCESS [  4.019 s]
[INFO] hadoop-yarn-client ................................. SUCCESS [  5.003 s]
[INFO] hadoop-yarn-applications ........................... SUCCESS [  0.044 s]
[INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [  2.060 s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [  1.525 s]
[INFO] hadoop-yarn-site ................................... SUCCESS [  0.047 s]
[INFO] hadoop-yarn-registry ............................... SUCCESS [  4.122 s]
[INFO] hadoop-yarn-project ................................ SUCCESS [  5.211 s]
[INFO] hadoop-mapreduce-client ............................ SUCCESS [  0.051 s]
[INFO] hadoop-mapreduce-client-core ....................... SUCCESS [ 16.098 s]
[INFO] hadoop-mapreduce-client-common ..................... SUCCESS [ 12.579 s]
[INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [  3.310 s]
[INFO] hadoop-mapreduce-client-app ........................ SUCCESS [  6.972 s]
[INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [  5.790 s]
[INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [  7.923 s]
[INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [  1.437 s]
[INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [  4.272 s]
[INFO] hadoop-mapreduce ................................... SUCCESS [  4.270 s]
[INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [  5.100 s]
[INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [ 12.644 s]
[INFO] Apache Hadoop Archives ............................. SUCCESS [  1.797 s]
[INFO] Apache Hadoop Rumen ................................ SUCCESS [  4.551 s]
[INFO] Apache Hadoop Gridmix .............................. SUCCESS [  3.380 s]
[INFO] Apache Hadoop Data Join ............................ SUCCESS [  2.232 s]
[INFO] Apache Hadoop Ant Tasks ............................ SUCCESS [  2.054 s]
[INFO] Apache Hadoop Extras ............................... SUCCESS [  2.312 s]
[INFO] Apache Hadoop Pipes ................................ SUCCESS [  8.269 s]
[INFO] Apache Hadoop OpenStack support .................... SUCCESS [  4.217 s]
[INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [ 29.522 s]
[INFO] Apache Hadoop Client ............................... SUCCESS [  7.187 s]
[INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [  0.106 s]
[INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [  3.483 s]
[INFO] Apache Hadoop Tools Dist ........................... SUCCESS [  8.224 s]
[INFO] Apache Hadoop Tools ................................ SUCCESS [  0.025 s]
[INFO] Apache Hadoop Distribution ......................... SUCCESS [ 49.890 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 18:13 min
[INFO] Finished at: 2017-06-23T03:56:38+08:00
[INFO] Final Memory: 157M/350M
[INFO] ------------------------------------------------------------------------
截图如下：
如果不通过源码编译安装，在hadoop,spark,flink等启动时经常会提示一个警告:
2017-06-23 21:57:49,105 WARN  org.apache.hadoop.util.NativeCodeLoader  - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

redhat7

Hadoop2

源码编译

redhat7源码编译hadoop2.6.0 的相关文章

  • redhat7安装oracle11gR2之环境准备

    redhat7安装oracle11gR2环境准备 xff1a 内存 xff1a 2g 磁盘空间 xff1a 15g以上 交换分区 xff1a 3g 我们将oracle安装到 opt app oracle目录下 xff0c 后面的环境变量则以

  • redhat7上rpm方式安装mongodb

    1 下载相关文件 xff0c 下载地址 xff1a http mirrors aliyun com mongodb yum redhat 7 mongodb org stable x86 64 RPMS mongodb org 3 2 9

  • Hadoop2.x源码64位编译

    编译必须环境 xff1a hadoop源码 使用的是2 10 2版本 JDK8 maven ant protobuf 版本必须是2 5 0 xff0c 否则编译会报错org apache maven plugin MojoExecution

  • android源码编译 坑

    bash lunch command not found 先调用 build envsetup sh 再执行 lunch Can not find SDK Can not find SDK 10 6 at Developer SDKs Ma

  • krita windows编译源码

    Qt系列文章目录 文章目录 Qt系列文章目录 前言 一 krita 二 krita源码编译 1 Windows下编译 1 编译准备 2 相关命令 使用CMake编译krita 重新编译 使用CMkae bash find package Z

  • VS2022编译GDAL库报错： fatal error U1050: PROJ_INCLUDE should be defined. PROJ ＞= 6 is a required depende

    目录 场景复现 定位问题 解决方案 踩过的坑 场景复现 使用VS2022的Native Tools command prompt for 2022工具编译GDAL库时 报 fatal error U1050 PROJ INCLUDE sho

  • 命名空间图像和编辑日志

    摘自 Hadoop 权威指南 在主题下名称节点和数据节点其中提到 namenode 管理文件系统名称空间 它保持了 文件系统树以及所有文件和目录的元数据 那个树 该信息永久保存在本地磁盘上 两个文件的形式 命名空间图像和编辑日志 辅助名称节

  • 将文件放在 HDFS 上，名称中包含空格

    我有一个名为file name 1 zip 里面有空格和括号 我想把这个文件放在HDFS上 但每次我尝试把它通过hadoop fs put 我得到一个例外 我什至尝试在文件周围添加引号 甚至尝试转义空格和括号 但它不起作用 hduser l

  • 组合器在哪里组合映射器输出 - 在映射阶段或映射减少作业中的减少阶段？

    我的印象是组合器就像作用于本地映射任务的减速器一样 即它聚合单个映射任务的结果以减少输出传输的网络带宽 并且从阅读中Hadoop The definitive guide 3rd edition 我的理解似乎是正确的 摘自第 2 章 第 3

  • 如何在 Spark 中向 Kryo 注册 InternalRow

    我想使用 Kryo 序列化运行 Spark 因此我设置spark serializer org apache spark serializer KryoSerializer and spark kryo registrationRequir

  • 如何检索 Hdfs 文件中的复制因子信息？

    我已为文件设置复制因子 如下所示 hadoop fs D dfs replication 5 copyFromLocal file txt user xxxx When a NameNode重新启动 它确保复制不足的块被复制 因此 文件的复

  • Spark-submit如何设置user.name

    想要设置 mapreduce job user name myuser Tried spark submit class com MyClass conf mapreduce job user name myuser conf spark

  • 将 1GB 数据加载到 hbase 需要 1 小时

    我想将 1GB 1000 万条记录 的 CSV 文件加载到 Hbase 中 我为它编写了 Map Reduce 程序 我的代码运行良好 但需要 1 小时才能完成 最后一个Reducer 花费了半个多小时的时间 有人可以帮我吗 我的代码如下

  • 高效查询Hbase

    我使用 Java 作为查询 Hbase 的客户端 我的 Hbase 表设置如下 ROWKEY HOST EVENT 21 1465435 host hst com clicked 22 1463456 hlo wrld com dragge

  • 将 Spark 设置为 Hive 的默认执行引擎

    Hadoop 2 7 3 Spark 2 1 0 和 Hive 2 1 1 我正在尝试将 Spark 设置为配置单元的默认执行引擎 我将 SPARK HOME jars 中的所有 jar 上传到 hdfs 文件夹 并将 scala libr

  • hdfs 命令在 hadoop 中已弃用

    我正在关注这个程序 http www codeproject com Articles 757934 Apache Hadoop for Windows Platform YouTube 链接 https www youtube com w

  • 在 Spark 中，广播是如何工作的？

    这是一个非常简单的问题 在 Spark 中 broadcast可用于有效地将变量发送给执行器 这是如何运作的 更确切地说 何时发送值 我一打电话就发送broadcast 或者何时使用这些值 数据到底发送到哪里 发送给所有执行者 还是只发送给

  • Hadoop：读取ORC文件并放入RDBMS中？

    我有一个以 ORC 文件格式存储的配置单元表 我想将数据导出到 Teradata 数据库 我研究了 sqoop 但找不到导出 ORC 文件的方法 有没有办法让 sqoop 为 ORC 工作 或者有什么其他工具可以用来导出数据 Thanks

  • Namenode高可用客户端请求

    谁能告诉我 如果我使用java应用程序请求一些文件上传 下载操作到带有Namenode HA设置的HDFS 这个请求首先去哪里 我的意思是客户端如何知道哪个名称节点处于活动状态 如果您提供一些工作流程类型图或详细解释请求步骤 从开始到结束

  • hadoop中reducer的数量

    我正在学习hadoop 我发现减速器的数量非常令人困惑 1 reducer的数量与partition的数量相同 2 reducer 的数量是 0 95 或 1 75 乘以 节点数 每个节点的最大容器数 3 减速机数量设定为mapred re

随机推荐

  • Openstack使用ubuntu镜像启动虚拟机实例

    一般情况下openstack环境搭建好了之后 xff0c 就是测试启动虚拟机 通常我们会使用一个最基本的镜像cirros 0 3 3 x86 64 disk img来作为镜 像 xff0c 使用glance命令行或者horizon的图形化界

  • docker使用Dockerfile构建镜像

    docker获取镜像 xff0c 除了docker pull docker load之外还可以通过自定义Dockerfile的方式通过命令docker build 来构建新镜像 通过这种方式可以很自由的定义想要安装的镜像 xff0c 想要安

  • django环境搭建

    django是python开发框架 xff0c 是一个丰富的web框架 第一步 xff1a 安装pip wget https bootstrap pypa io get pip py python get pip py 第二步 xff1a

  • docker配置国内仓库镜像registry-mirror

    Docker在默认安装之后 xff0c 当需要下载镜像时 xff0c 通过命令docker pull learn tutoral拉取示例镜像 xff0c 或者其他镜像时 xff0c 都是访问默认的docker hub上的镜像 xff0c 在

  • TypeError: object() takes no parameters

    python面向对象编程第一个坑 TypeError object takes no parameters 出现这个错误 xff0c 一般就是构造函数 init 书写的不对 xff0c 检查一下是否是少了一个下划线或者是少写了一个i字母 x

  • windows上Flask环境搭建

    Flask是python开发框架 用来快速构建web项目 下面介绍如何在windows上搭建flask开发环境并运行一个demo 第一步 创建项目并构建flask环境 mkdir flaskapp cd flaskapp virtualen

  • WebSocket 测试工具

    一 WebSocket 简介 WebSocket是一种在单个TCP连接上进行全双工通信的协议 WebSocket使得客户端和服务器之间的数据交换变得更加简单 xff0c 允许服务端主动向客户端推送数据 在WebSocket API中 xff

  • 利用pipework为docker容器设置固定IP

    今天介绍如何在redhat centos7系列机器上使用pipework为docker启动的容器指定一个固定ip 我们知道默认情况下 xff0c docker会使用bridge网络模式为每一个启动的容器动态分配一个IP xff0c 以172

  • 用docker玩坏ubuntu虚拟机容器

    当我们装上docker之后 xff0c 自然会pull一个或多个镜像玩玩 xff0c 这时候 xff0c docker hub仓库上有很多系列操作系统镜像 xff0c 每个系列又有很多不同功能的虚拟机镜像 xff0c 比如centos分6还

  • tornado入门实例

    tornado是python web开发的又一个轻量级框架 tornado框架需要安装 xff0c 为了方便 xff0c 我直接安装了Anaconda 2 4 1 里面直接就带了tornado 还有很多python库 numpy scipy

  • web.py框架入门

    web py是python web开发的一个轻量级框架 web py可以通过pip命令安装 xff0c pip install web py 编写官网示例代码 xff1a vi index py import web urls 61 34

  • graphviz快速上手

    graphviz最初是AT amp T实验室用来画流程图的工具 xff0c 使用dot语言 其中根据图的类型可以分为有向图 dirgraph 和无向图 graph 我们知道图是由点 node 和边 edge 组成的 xff0c 在有向图中边

  • mysqld: File './mysql-bin.index' not found (Errcode: 13 - Permission denied)

    我们通过yum方式安装mysql 会生成mysql mysql用户组和用户 xff0c 启动mysql默认是使用mysql用户 如果我们开启了慢log日志 xff0c 而且我们使用service mysqld start启动mysql 会报

  • redhat7编译安装php-5.5.38

    1 从官网下载php源码包 php 5 5 38 2 安装依赖包 yum install libxml2 libxml2 devel bzip2 devel libcurl devel y yum install openssl opens

  • spark-1.6.0源码编译安装

    环境准备 spark是scala语言写的 xff0c scala运行需要jdk 如果通过maven编译 xff0c 还需要maven环境 xff0c 因此spark源码编译需要安装jdk scala apache maven这三样环境 这里

  • ZendStudio+php+Apache开发环境搭建

    学习php xff0c 我们就想有一个好的ide xff0c ZendStudio是专门为php开发提供的ide xff0c 写完代码立马能够在工作空间中调试 xff0c 可以通过Run As gt PHP CLI Application

  • 图文详解win7实现局域网共享文件

    工作中 xff0c 我们有时候会拥有两台机器 xff0c 避免机器之间文件传来传去 xff0c 可以使用局域网文件共享 xff0c 在一台机器上开启文件共享 xff0c 另一台机器通过IP访问 xff0c 即可轻松实现文件互访 今天介绍我们

  • 模拟画图题P1185 绘制二叉树

    可能更好的观看体验 题目链接P1185 绘制二叉树 题意概述 根据规则绘制一棵被删去部分节点的满二叉树 节点用 o o o 表示 xff0c 树枝用 表示 每一层树枝长度会变化 xff0c 以满足叶子结点有如下特定 xff1a 相邻叶子节点

  • win7+MySQL5.7.18zip版本安装

    mysql5 7 18zip版本在windows的安装 xff0c 就是解压 xff0c 初始化 xff0c 然后做一些密码修改的设置即可使用 xff0c 如果需要远程连接 xff0c 需要更改用户表的host值为 39 39 xff0c

  • redhat7源码编译hadoop2.6.0

    以前在32位linux机器上编译过hadoop2 6 0 这次在redhat7 64bit上再次编译hadoop2 6 0 xff0c 除必须的jdk maven protobuf需要安装之外 xff0c 还需要安装系统依赖库gcc gcc

热门标签