程序员经验分享-hwhale

hadoop-3.0.1源码编译需要注意的事项

2023-05-16

这次尝试了一下源码编译最新的hadoop3.0.1，发现了几个和原来不太一样的地方。记录下来：

1、需要的jdk不再是原来的1.7，直接jdk1.8就编译通过了；

2、以前安装需要安装编译依赖cmake,这次是需要cmake3，redhat7默认没有cmake3的package，需要先安装epel-release,然后安装cmake3,最后将cmake3做一个软链cmake；


yum install epel-release -y
yum install cmake3 -y
ln -s /usr/bin/cmake3 /usr/bin/cmake

3、编译hadoop amazon webservice时遇到缺少依赖包:DynamoDBLocal-1.11.86.jar。编译不通过，这时需要下载amazon提供的dynamodb_local_latest.tar.gz，解压之后，将其中的DynamoDBLocal.jar包拷贝到/path/maven/repo目录下的com/amazon/1.11.86/目录下，并命名为DynamoDBLocal-1.11.86.jar。接着编译就可以成功；


Failure to find com.amazonaws:DynamoDBLocal:jar

另外，网上有说更改hadoop-3.0.1-src目录下的pom.xm文件，增加dynamodb的仓库，我试了没有成功，不知道什么原因。


<repository>
       <id>dynamodb-local-oregon</id>
       <name>DynamoDB Local Release Repository</name>
       <url>https://s3-ap-southeast-1.amazonaws.com/dynamodb-local-singapore/release</url>
    </repository>

最终不得不下载dynamodb_local最新文件，解压出其中的DynamoDBLocal.jar。

4、其余的条件基本没什么变化。gcc-c++,openssl-devel,ncurses-devel和编译时需要的protobuf-2.5.0，再一个就是jdk,maven,编译时需要下载很多依赖包。

最后附上一个编译成功的打印信息：


[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Apache Hadoop Main ................................. SUCCESS [  0.606 s]
[INFO] Apache Hadoop Build Tools .......................... SUCCESS [  1.187 s]
[INFO] Apache Hadoop Project POM .......................... SUCCESS [  0.588 s]
[INFO] Apache Hadoop Annotations .......................... SUCCESS [  1.350 s]
[INFO] Apache Hadoop Assemblies ........................... SUCCESS [  0.093 s]
[INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [  1.144 s]
[INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [  2.612 s]
[INFO] Apache Hadoop MiniKDC .............................. SUCCESS [  1.159 s]
[INFO] Apache Hadoop Auth ................................. SUCCESS [  3.331 s]
[INFO] Apache Hadoop Auth Examples ........................ SUCCESS [  1.520 s]
[INFO] Apache Hadoop Common ............................... SUCCESS [ 36.657 s]
[INFO] Apache Hadoop NFS .................................. SUCCESS [  3.024 s]
[INFO] Apache Hadoop KMS .................................. SUCCESS [  2.565 s]
[INFO] Apache Hadoop Common Project ....................... SUCCESS [  0.030 s]
[INFO] Apache Hadoop HDFS Client .......................... SUCCESS [ 10.304 s]
[INFO] Apache Hadoop HDFS ................................. SUCCESS [ 33.907 s]
[INFO] Apache Hadoop HDFS Native Client ................... SUCCESS [  1.186 s]
[INFO] Apache Hadoop HttpFS ............................... SUCCESS [  3.713 s]
[INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [  1.756 s]
[INFO] Apache Hadoop HDFS Project ......................... SUCCESS [  0.021 s]
[INFO] Apache Hadoop YARN ................................. SUCCESS [  0.021 s]
[INFO] Apache Hadoop YARN API ............................. SUCCESS [  6.282 s]
[INFO] Apache Hadoop YARN Common .......................... SUCCESS [ 19.870 s]
[INFO] Apache Hadoop YARN Server .......................... SUCCESS [  0.022 s]
[INFO] Apache Hadoop YARN Server Common ................... SUCCESS [  5.239 s]
[INFO] Apache Hadoop YARN Registry ........................ SUCCESS [  2.523 s]
[INFO] Apache Hadoop YARN NodeManager ..................... SUCCESS [  5.820 s]
[INFO] Apache Hadoop YARN Web Proxy ....................... SUCCESS [  1.822 s]
[INFO] Apache Hadoop YARN ApplicationHistoryService ....... SUCCESS [  2.954 s]
[INFO] Apache Hadoop YARN Timeline Service ................ SUCCESS [  2.634 s]
[INFO] Apache Hadoop YARN ResourceManager ................. SUCCESS [  9.594 s]
[INFO] Apache Hadoop YARN Server Tests .................... SUCCESS [  0.661 s]
[INFO] Apache Hadoop YARN Client .......................... SUCCESS [  2.662 s]
[INFO] Apache Hadoop YARN SharedCacheManager .............. SUCCESS [  1.957 s]
[INFO] Apache Hadoop YARN Timeline Plugin Storage ......... SUCCESS [  2.036 s]
[INFO] Apache Hadoop YARN TimelineService HBase Backend ... SUCCESS [  3.636 s]
[INFO] Apache Hadoop YARN Timeline Service HBase tests .... SUCCESS [  1.781 s]
[INFO] Apache Hadoop YARN Router .......................... SUCCESS [  2.504 s]
[INFO] Apache Hadoop YARN Applications .................... SUCCESS [  0.020 s]
[INFO] Apache Hadoop YARN DistributedShell ................ SUCCESS [  1.590 s]
[INFO] Apache Hadoop YARN Unmanaged Am Launcher ........... SUCCESS [  1.189 s]
[INFO] Apache Hadoop YARN Site ............................ SUCCESS [  0.019 s]
[INFO] Apache Hadoop YARN UI .............................. SUCCESS [  0.019 s]
[INFO] Apache Hadoop YARN Project ......................... SUCCESS [  5.579 s]
[INFO] Apache Hadoop MapReduce Client ..................... SUCCESS [  0.119 s]
[INFO] Apache Hadoop MapReduce Core ....................... SUCCESS [  9.071 s]
[INFO] Apache Hadoop MapReduce Common ..................... SUCCESS [  7.961 s]
[INFO] Apache Hadoop MapReduce Shuffle .................... SUCCESS [  2.258 s]
[INFO] Apache Hadoop MapReduce App ........................ SUCCESS [  3.789 s]
[INFO] Apache Hadoop MapReduce HistoryServer .............. SUCCESS [  2.843 s]
[INFO] Apache Hadoop MapReduce JobClient .................. SUCCESS [  2.078 s]
[INFO] Apache Hadoop MapReduce HistoryServer Plugins ...... SUCCESS [  1.134 s]
[INFO] Apache Hadoop MapReduce NativeTask ................. SUCCESS [  3.074 s]
[INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [  2.565 s]
[INFO] Apache Hadoop MapReduce ............................ SUCCESS [  3.236 s]
[INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [  2.518 s]
[INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [  2.035 s]
[INFO] Apache Hadoop Archives ............................. SUCCESS [  1.245 s]
[INFO] Apache Hadoop Archive Logs ......................... SUCCESS [  1.160 s]
[INFO] Apache Hadoop Rumen ................................ SUCCESS [  2.598 s]
[INFO] Apache Hadoop Gridmix .............................. SUCCESS [  1.777 s]
[INFO] Apache Hadoop Data Join ............................ SUCCESS [  1.260 s]
[INFO] Apache Hadoop Extras ............................... SUCCESS [  1.078 s]
[INFO] Apache Hadoop Pipes ................................ SUCCESS [  0.092 s]
[INFO] Apache Hadoop OpenStack support .................... SUCCESS [  2.321 s]
[INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [  4.232 s]
[INFO] Apache Hadoop Kafka Library support ................ SUCCESS [  2.446 s]
[INFO] Apache Hadoop Azure support ........................ SUCCESS [  5.362 s]
[INFO] Apache Hadoop Aliyun OSS support ................... SUCCESS [  2.752 s]
[INFO] Apache Hadoop Client Aggregator .................... SUCCESS [  1.984 s]
[INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [  0.827 s]
[INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [  3.193 s]
[INFO] Apache Hadoop Resource Estimator Service ........... SUCCESS [  4.739 s]
[INFO] Apache Hadoop Azure Data Lake support .............. SUCCESS [  2.395 s]
[INFO] Apache Hadoop Tools Dist ........................... SUCCESS [  6.701 s]
[INFO] Apache Hadoop Tools ................................ SUCCESS [  0.023 s]
[INFO] Apache Hadoop Client API ........................... SUCCESS [01:20 min]
[INFO] Apache Hadoop Client Runtime ....................... SUCCESS [01:02 min]
[INFO] Apache Hadoop Client Packaging Invariants .......... SUCCESS [  0.592 s]
[INFO] Apache Hadoop Client Test Minicluster .............. SUCCESS [01:31 min]
[INFO] Apache Hadoop Client Packaging Invariants for Test . SUCCESS [  0.106 s]
[INFO] Apache Hadoop Client Packaging Integration Tests ... SUCCESS [  0.072 s]
[INFO] Apache Hadoop Distribution ......................... SUCCESS [ 16.725 s]
[INFO] Apache Hadoop Client Modules ....................... SUCCESS [  0.018 s]
[INFO] Apache Hadoop Cloud Storage ........................ SUCCESS [  0.629 s]
[INFO] Apache Hadoop Cloud Storage Project ................ SUCCESS [  0.014 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 08:51 min
[INFO] Finished at: 2018-04-05T16:25:41+08:00
[INFO] Final Memory: 173M/931M
[INFO] ------------------------------------------------------------------------

编译成功之后，编译结果在hadoop-3.0.1-src/hadoop-dist/target目录下，

我们可以查看一下编译之后，形成的lib/native/libhadoop.so.1.0.0。


[root@server target]# cd hadoop-3.0.1/lib/native/
[root@server native]# ls
examples     libhadooppipes.a  libhadoop.so.1.0.0  libhdfs.a   libhdfs.so.0.0.0  libnativetask.so
libhadoop.a  libhadoop.so      libhadooputils.a    libhdfs.so  libnativetask.a   libnativetask.so.1.0.0
[root@server native]# file libhadoop.so.1.0.0 
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=12cc31646dffc9651647fe12d8fe28b2dbc6280f, not stripped

本地依赖库有了之后，以后运行hadoop命令时就不会每次都提醒缺少本地库的警告了。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop

源码编译需要注意的事项

hadoop-3.0.1源码编译需要注意的事项 的相关文章

  • 使用 Hive 自定义输入格式

    Update 好吧 事实证明以下不起作用的原因是因为我使用的是较新版本的InputFormat API import org apache hadoop mapred这是旧的与import org apache hadoop mapredu

  • Kafka Streams 在 HDFS 上查找数据

    我正在使用 Kafka Streams v0 10 0 1 编写一个应用程序 并希望通过查找数据来丰富我正在处理的记录 该数据 带时间戳的文件 每天 或每天 2 3 次 写入 HDFS 目录 我怎样才能将其加载到Kafka Streams应

  • Hadoop YARN 作业陷入映射 0% 并减少 0%

    我正在尝试运行一个非常简单的作业来测试我的 hadoop 设置 所以我尝试使用 Word Count Example 它陷入了 0 所以我尝试了一些其他简单的作业 并且每个作业都陷入了困境 52191 0003 14 07 14 23 55

  • HDFS 在大量小文件和 128 Mb 块大小上的行为

    我有很多 多达数十万个 小文件 每个文件 10 100 Kb 我的 HDFS 块大小等于 128 MB 我的复制因子等于 1 为每个小文件分配 HDFS 块有什么缺点吗 我见过相当矛盾的答案 答案说最小的文件占用整个块 https stac

  • 线程“main”中出现异常java.lang.UnsupportedClassVersionError，不支持的major.minor版本52.0

    我尝试在 hadoop 1 0 4 上运行 WordCount 示例 但收到以下错误 Exception in thread main java lang UnsupportedClassVersionError WordCount Uns

  • Hive 上的自定义 MapReduce 程序，规则是什么？输入和输出怎么样？

    我被困了几天 因为我想根据我在 hive 上的查询创建一个自定义的地图缩减程序 在谷歌搜索后我发现没有太多例子 而且我仍然对规则感到困惑 创建自定义 MapReduce 程序的规则是什么 映射器和减速器类怎么样 任何人都可以提供任何解决方案

  • Amazon MapReduce 日志分析最佳实践

    我正在解析 Apache Nginx Darwin 视频流服务器 生成的访问日志 并按日期 引用者 用户代理聚合每个交付文件的统计信息 每小时都会生成大量日志 而且这个数字在不久的将来可能会急剧增加 因此通过 Amazon Elastic

  • 远程执行hadoop作业时出现异常

    我正在尝试在远程 hadoop 集群上执行 Hadoop 作业 下面是我的代码 Configuration conf new Configuration conf set fs default name hdfs server 9000 c

  • 使用 python 从 HDFS 获取文件名列表

    这里是 Hadoop 菜鸟 我搜索了一些有关 hadoop 和 python 入门的教程 但没有取得太大成功 我还不需要使用映射器和缩减器进行任何工作 但这更多是一个访问问题 作为Hadoop集群的一部分 HDFS 上有一堆 dat 文件

  • 无法使用 PDI 步骤连接到 HDFS

    我已经配置成功了Hadoop 2 4 in an Ubuntu 14 04 虚拟机 from a 视窗8系统 Hadoop 安装工作绝对正常 而且我还可以从 Windows 浏览器查看 Namenode 附图如下 所以 我的主机名是 ubu

  • 一个目录下可以有两个oozieworkflow.xml文件吗？

    一个目录下可以有两个oozieworkflow xml文件吗 如果是这样 我如何指示 oozie runner 运行哪一个 您可以有两个工作流程文件 只需为它们指定唯一的名称 然后您可以通过设置oozie wf application pa

  • Sqoop Import --password-file 功能在 sqoop 1.4.4 中无法正常工作

    我使用的是hadoop 1 2 1 sqoop版本是1 4 4 我正在尝试运行以下查询 sqoop import connect jdbc mysql IP 3306 database name table clients target d

  • 无法从 JAR 文件加载主类

    我有一个 Spark scala 应用程序 我尝试显示一条简单的消息 Hello my App 当我编译它时sbt compile并运行它sbt run没关系 我成功显示了我的消息 但他显示了错误 像这样 Hello my applicat

  • 猪如何过滤不同的对（对）

    我是猪的新手 我有一个 Pig 脚本 它在两个元素之间生成制表符分隔的对 每行一对 例如 John Paul Tom Nik Mark Bill Tom Nik Paul John 我需要过滤掉重复的组合 如果我使用 DISTINCT 我会

  • Oozie SSH 操作

    Oozie SSH 操作问题 Issue 我们正在尝试在集群的特定主机上运行一些命令 我们为此选择了 SSH Action 我们面对这个 SSH 问题已经有一段时间了 这里真正的问题可能是什么 请指出解决方案 logs AUTH FAILE

  • R+Hadoop：如何从HDFS读取CSV文件并执行mapreduce？

    在以下示例中 small ints to dfs 1 1000 mapreduce input small ints map function k v cbind v v 2 MapReduce函数的数据输入是一个名为small ints的

  • 获取 emr-ddb-hadoop.jar 将 DynamoDB 与 EMR Spark 连接

    我有一个 DynamoDB 表 需要将其连接到 EMR Spark SQL 才能对该表运行查询 我获得了带有发行标签 emr 4 6 0 和 Spark 1 6 1 的 EMR Spark Cluster 我指的是文档 使用 Spark 分

  • 将日期字符串转换为“MM/DD/YY”格式

    我刚刚看到这个例子 我该如何解决这个问题 Hive 元存储包含一个名为 Problem1 的数据库 其中包含一个名为 customer 的表 customer 表包含 9000 万条客户记录 90 000 000 每条记录都有一个生日字段

  • hive 从两个数组创建映射或键/值对

    我有两个具有相同数量值的数组 它们映射为 1 1 我需要从这两个数组创建一个键 值对或映射 键 值 任何想法或提示都会有帮助 当前表结构 USA WEST NUMBER Street City 135 Pacific Irvine USA

  • 将 CSV 转换为序列文件

    我有一个 CSV 文件 我想将其转换为 SequenceFile 我最终将使用它来创建 NamedVectors 以在聚类作业中使用 我一直在使用 seqdirectory 命令尝试创建 SequenceFile 然后使用 nv 选项将该输

随机推荐

  • linux下通过pip安装最新uwsgi

    通过yum install uwsgi 安装的uwsgi在进行测试的时候 xff0c 发现版本是2 0 15 但是启动uwsgi测试的时候报参数错误 xff0c 后来改用pip安装 先yum remove uwsgi删除老的uwsgi 就成

  • 将原有python复制到anaconda虚拟环境后，可以激活但是不显示的问题

    第一步参考 如何在已安装Python条件下 xff0c 安装Anaconda xff0c 并将原有Python添加到Anaconda中 amazingym 博客园 发现conda info e 不显示环境 xff0c 但是用文件夹名称可以顺

  • pip更改国内源

    默认情况下 xff0c pip安装一个工具 xff0c 是通过使用官方的源 https pypi python org simple xff0c 速度上是一个很大的问题 xff0c 例如 xff0c 安装tensorflow 默认第一个下载

  • win7+vmware12+mac10.10安装过程

    win7 43 vmware12安装mac10 11 10 12 10 13均失败 xff0c 最终安装mac10 10成功 xff0c 不知道是不是硬件不支持 这里记录一下mac10 10虚拟机安装的过程 默认情况下 xff0c vmwa

  • mac虚拟机安装之后需要做这些

    一 让mac使用体验更好 mac虚拟机安装完成之后 xff0c 需要让系统用起来顺畅 xff0c 鼠标滑动平稳 xff0c 需要安装vmware tools工具 这里需要下载vmwaretools镜像 我这里名字叫 VMware 43 To

  • mac系统pip安装package路径问题

    默认情况下 xff0c 通过pip安装会提示Permission Denied 这时候通过sudo pip install xxx可以安装 xff0c 但是安装的路径不是系统默认的路径 xff0c 再次通过pip list列出已经安装过的工

  • xcrun: error: invalid active developer path解决办法

    mac下如果安装过xcode 之后又卸载 xff0c 再使用git等命令时就提示错误 invalid active path Applications Xcode app Contents Developer 一般情况可以通过xcode s

  • Hue安装与配置

    Hue是cloudera提供的hadoop ui 利用它可以很直观的操作和查看hadoop生态应用 一般安装cloudera manager之后会自动带有hue管理界面 xff0c 通过http hueserver 8888即可访问 另外

  • aapt查看apk应用信息

    aapt是Android asset package tools 利用aapt命令可以很方便的查看app包信息 linux下安装配置aapt 先下载aapt 然后放入 usr bin目录 xff0c 并改变权限为可执行文件 aapt帮助 以

  • Git-TortoiseGit使用报错:cannot spawn xxx\bin\ssh.exe: No such file or directory fatal

    一般开发都是用eclipse自带的git插件提交代码 xff0c 今天试了一把TortoiseGit的提交 结果报错 查看TortoiseGit gt Settings xff1a 发现这里环境变量和设置的环境变量不一致 xff0c 猜测是

  • windows+spark本地运行环境搭建

    spark作为一个内存mapreduce框架 xff0c 速度是hadoop的10倍甚至100倍 windows下可以通过简单设置 xff0c 搭建本地运行环境 1 下载spark预编译版本 xff0c spark运行环境依赖jdk sca

  • git clone 报错：Peer reports incompatible or unsupported protocol version解决办法

    git通过git clone下载github上的资源到机器上 xff0c 结果出现如题所示的错误 root 64 server data git clone https github com pingcap tidb docker comp

  • explian使用介绍

    1 xff09 id列数字越大越先执行 xff0c 如果说数字一样大 xff0c 那么就从上往下依次执行 xff0c id列为null的就表是这是一个结果集 xff0c 不需要使用它来进行查询 2 xff09 select type列常见的

  • centos7安装rustup

    rust安装 xff0c 因为被墙的原因 xff0c 在国内几乎很难安装 xff0c 需要通过代理安装 但是rustup却很容易 xff0c 一般在linux下 xff0c 通过官方指定的下列语句 xff0c 基本可以安装rustup cu

  • TiDB在Centos7上通过源码编译安装

    这里难以编译安装的是tikv tidb的三大部分tidb pd tikv中tidb pd均是采用go语言编写 xff0c 安装go语言包即可编译 xff0c 唯独tikv是采用rust语言写的 xff0c 他的编译是最复杂的 而且编译环境非

  • Cloudera Manager 5.12.0图文详解安装过程

    这里介绍的是cdh5的离线安装方式 xff0c 需要的文件提前准备好 xff0c 安装过程会快一些 安装前提 xff1a 机器配置内存一定要高 xff0c 我这里安装的虚拟机均是redhat7 xff1a 内存分别是6G 4G 4G 准备的

  • Failed to get D-Bus connection: Operation not permitted

    docker容器centos7中 xff0c 通过systemctl start service出现下错误 Failed to get D Bus connection Operation not permitted docker中的容器启

  • C++中如何求数组长度

    C 43 43 中没有直接提供求数组长度的方法 xff0c 提供了sizeof begin end 等方法 xff0c 可以供求数组长度使用 可以通过两种方式来求数组长度 xff0c 这里使用模版类 一个是使用sizeof 做除法 xff0

  • IDEA+scala插件开发spark程序

    spark由scala语言编写 xff0c 开发spark程序 xff0c 自然也少不了scala环境 xff0c 这里介绍如何利用Intellij IDEA开发spark 1 环境准备 jdk scala idea这些对于本文来说都已经默

  • hadoop-3.0.1源码编译需要注意的事项

    这次尝试了一下源码编译最新的hadoop3 0 1 xff0c 发现了几个和原来不太一样的地方 记录下来 xff1a 1 需要的jdk不再是原来的1 7 xff0c 直接jdk1 8就编译通过了 xff1b 2 以前安装需要安装编译依赖cm

热门标签