hadoop-3.0.0完整版HA部署

2023-11-06

一、环境准备:
Linux7.2

hadoop-3.0.0.tar.gz

JDK1.8

二、下载源
hadoop3.0.0下载地址:https://archive.apache.org/dist/hadoop/common/

zookeeper-3.4.5下载地址:https://archive.apache.org/dist/zookeeper/

jdk下载地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html

三、JDK安装(所有节点)
3.1 (创建jdk存放目录)
mkdir -p /usr/java

3.2 解压
tar -zxvf hadoop-3.0.0.tar.gz -C /opt

三、安装zookeeper
3.1 解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /opt

cd /opt

mv zookeeper-3.4.5/ zookeeper

3.2 配置zoo.cfg
mkdir -p /opt/zookeeper/data

mkdir -p /opt/zookeeper/logs

cd /opt/zookeeper/conf/

mv zoo_sample.cfg zoo.cfg

vi zoo.cfg

//设置数据及日志存放位置

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/logs

//省略其他内容。在zoo.cfg最末尾添加ZK集群信息

server.1=node1:2888:3888

server.2=node2:2888:3888

server.3=node3:2888:3888

echo ‘1’ > /opt/zookeeper/data/myid

3.3 zookeeper分发
scp -r zookeeper/ node02:$PWD

echo ‘2’ > /opt/zookeeper/data/myid

scp -r zookeeper/ node03:$PWD

echo ‘3’ > /opt/zookeeper/data/myid

3.4 验证
cd /opt/zookeeper

./bin/zkServer.sh start

四、hadoop安装

4.1 解压hadoop安装包
tar -zxvf hadoop-3.0.0.tar.gz -C /opt/

cd /opt

mv hadoop-3.0.0/ hadoop

4.2 配置hadoop环境变量(所有节点)
source /etc/profile

hadoop

export HADOOP_HOM

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

hadoop-3.0.0完整版HA部署 的相关文章

  • Hive - 通过聚合跨组的值来创建映射列类型

    我有一个看起来像这样的表 customer category room date 1 A aa d1 1 A bb d2 1 B cc d3 1 C aa d1 1 C bb d2 2 A aa d3 2 A bb d4 2 C bb d4
  • HDFS容量:如何阅读“dfsadmin报告”

    我使用的是 Hadoop 2 6 0 当我运行 hdfs dfsadmin report 时 我得到类似这样的信息 简化 Configured Capacity 3 TB Present Capacity 400GB DFS Remaini
  • Hadoop:处理大型序列化对象

    我正在开发一个应用程序来使用 Hadoop 框架处理 和合并 几个大型 java 序列化对象 顺序 GB 大小 Hadoop 存储将文件块分布在不同的主机上 但由于反序列化需要所有块都存在于单个主机上 因此它会极大地影响性能 我该如何处理这
  • 在 Hive 中分解一行 XML 数据

    我们将 XML 数据作为名为 XML 的单个字符串列加载到 Hadoop 中 我们正在尝试检索数据级别 并将其标准化或分解为单行进行处理 你知道 就像表格一样 已经尝试过分解功能 但没有得到我们想要的 示例 XML
  • 使用 Hadoop 映射两个数据集

    假设我有两个键值数据集 数据集A和B 我们称它们为数据集A和B 我想用 B 组的数据更新 A 组中的所有数据 其中两者在键上匹配 因为我要处理如此大量的数据 所以我使用 Hadoop 进行 MapReduce 我担心的是 为了在 A 和 B
  • Couchbase/hadoop 连接器:sqoop 作业失败“找到接口 org.apache.hadoop.mapreduce.TaskAttemptContext,但需要类”

    我的配置 CouchBase服务器2 0 Sqoop 1 4 2 针对hadoop版本2 0 0编译 堆栈Hadoop CDH4 1 2 我想使用 CouchBase Hadoop 连接器 http www couchbase com de
  • 在 Hadoop 中处理带标头的文件

    我想在 Hadoop 中处理很多文件 每个文件都有一些头信息 后面跟着很多记录 每个记录都存储在固定数量的字节中 对此有何建议 我认为最好的解决方案是编写一个自定义的InputFormat http hadoop apache org co
  • http://localhost:50070/ 的 hadoop Web UI 不起作用

    命令 jps 显示以下详细信息 第5144章 5464 节点管理器 5307 资源管理器 5800 Jps 显然namenode和datanode丢失了 网络用户界面位于http 本地主机 50070 http localhost 5007
  • Oozie SSH 操作

    Oozie SSH 操作问题 Issue 我们正在尝试在集群的特定主机上运行一些命令 我们为此选择了 SSH Action 我们面对这个 SSH 问题已经有一段时间了 这里真正的问题可能是什么 请指出解决方案 logs AUTH FAILE
  • hive创建表的多个转义字符

    我正在尝试将带有管道分隔符的 csv 加载到配置单元外部表 数据值包含单引号 双引号 括号等 使用 Open CSV 版本 2 3 测试文件 csv id name phone 1 Rahul 123 2 Kumar s 456 3 Nee
  • 如何将Hive数据表迁移到MySql?

    我想知道如何将日期从 Hive 转移到 MySQL 我看过有关如何将 Hive 数据移动到 Amazon DynamoDB 的示例 但没有看到有关如何将 Hive 数据移动到 MySQL 等 RDBMS 的示例 这是我在 DynamoDB
  • 如何在 Hadoop 中将 String 对象转换为 IntWritable 对象

    我想转换String反对IntWritableHadoop 中的对象 任何过程都可以进行转换 IntWritable value new IntWritable Integer parseInt someString 并处理以下可能性par
  • 带有安全 Kafka 抛出的 Spark 结构化流:无权访问组异常

    为了在我的项目中使用结构化流 我正在 hortonworks 2 6 3 环境上测试 Spark 2 2 0 和 Kafka 0 10 1 与 Kerberos 的集成 我正在运行下面的示例代码来检查集成 我能够在 Spark 本地模式下的
  • YARN UNHEALTHY 节点

    在我们的 YARN 集群已满 80 的情况下 我们看到一些纱线节点管理器被标记为不健康 在深入研究日志后 我发现这是因为数据目录的磁盘空间已满 90 出现以下错误 2015 02 21 08 33 51 590 INFO org apach
  • 纱线上的火花,连接到资源管理器 /0.0.0.0:8032

    我正在我的开发机器 Mac 上编写 Spark 程序 hadoop的版本是2 6 spark的版本是1 6 2 hadoop集群有3个节点 当然都在linux机器上 我在idea IDE中以spark独立模式运行spark程序 它运行成功
  • 如何将SQL数据加载到Hortonworks中?

    我已在我的电脑中安装了 Hortonworks SandBox 还尝试使用 CSV 文件 并以表结构的方式获取它 这是可以的 Hive Hadoop nw 我想将当前的 SQL 数据库迁移到沙箱 MS SQL 2008 r2 中 我将如何做
  • 适用于 Hadoop 的 DynamoDB 输入格式

    我必须使用 Hadoop mapreduce 处理保留在 Amazon Dynamodb 中的一些数据 我在互联网上搜索 Dynamo DB 的 Hadoop InputFormat 但找不到它 我对 Dynamo DB 不熟悉 所以我猜测
  • 猪的组连接等效吗?

    试图在 Pig 上完成这个任务 寻找 MySQL 的 group concat 等效项 例如 在我的表中 我有以下内容 3fields userid clickcount pagenumber 155 2 12 155 3 133 155
  • 如何从hdfs读取文件[重复]

    这个问题在这里已经有答案了 我在 project1目录下的hadoop文件系统中有一个文本文件名mr txt 我需要编写 python 代码来读取文本文件的第一行 而不将 mr txt 文件下载到本地 但我无法从 hdfs 打开 mr tx
  • 更改 Spark Streaming 中的输出文件名

    我正在运行一个 Spark 作业 就逻辑而言 它的性能非常好 但是 当我使用 saveAsTextFile 将文件保存在 s3 存储桶中时 输出文件的名称格式为 part 00000 part 00001 等 有没有办法更改输出文件名 谢谢

随机推荐

  • 艾兰·图灵

    艾伦 麦席森 图灵 1912年生于英国伦敦 1954年死于英国的曼彻斯特 他是计算机逻辑的奠基者 许多人工智能的重要方法也源自于这位伟大的科学家 被誉为计算机科学之父 人工智能之父 计算机逻辑的奠基者 提出了 图灵机 和 图灵测试 等重要概
  • Apifox自动生成接口文档

    1 安装 1 1 Apifox安装 官方文档 Apifox API 文档 调试 Mock 测试一体化协作平台 接口文档工具 接口自动化测试工具 接口Mock工具 API文档工具 API Mock工具 API自动化测试工具 1 2 IDEA
  • 结构体对齐计算方式

    目录 法则一 结构体成员的偏移量必须是成员大小的整数倍 数组除外 法则二 结构体大小必须是所有成员大小的整数倍 数组 结构体除外 带数组的结构体大小计算 带结构体的结构体大小计算 带联合体的结构体大小计算 pragma pack 4 向4对
  • Django模板的使用

    模板文件夹在工程目录下 配置路径 测试 视图 路由 模板 测试 查询数据返回显示在模板中 视图 模板 测试
  • AR开发 - 入门笔记

    文章目录 C C 基础 环境编程 C C 进阶 性能优化 图像处理库 OpenCV 图形学和 OpenGL 深度学习推理库 ncnn GUI框架imgui 多视图几何与 SLAM Unity AR 教程 C C 基础 语法 C99 C 03
  • 前、后端登录验证逻辑

    一 前端先进行第一层校验 前端主要做一些格式的校验 比如用户名 密码的输入符不符合规范 是否为空 验证码输入是否正确 一般验证码的校验在前端 如果验证码都不匹配的话 则不需要调用登录接口 直接return 如果后端给的是图片地址 也可以放在
  • C++中双括号初始化问题

    在刷题时用到了一个栈 网上参考了答案无意中发现了这个双大括号初始化的方法 查阅后发现java有这种用法 说其这本质上是匿名内部类加实例化代码块 但这边个跟类有什么关系 嗯 又想到明明之前用到栈的时候并没有初始化 于是再次定义了一个未初始化的
  • 13. 集群安全

    文章目录 K8S安全机制说明 Authentication 认证 HTTPS 证书需要认证的节点 两种类型 安全性说明 证书颁发 Kubeconfig ServiceAccount Secret 与 SA 的关系 Authorization
  • 【AI面试】降低过拟合的方式方法横评探究

    对于一个 训练调参工程师 来说 在训练过程遇到过拟合现象 是常事 当然 如何降低过拟合 也是在面试过程中 经常被面试官问到的问题 没啥可问的 就只能这样问了 以下是我们会常考虑常事使用的解决方法 按照重要程度依次排列 数据增强 Data A
  • [离散数学]命题逻辑P_3:命题符号化及其应用

    离散数学 命题逻辑P 3 命题符号化及其应用 前言 1 命题联结词的总结 命题联结词 命题联结词的真值表 例子 2 命题联结词的优先级 优先级顺序 例子 3 复合命题符号化 例子 4 联结词应用 开关电路 逻辑电路 网页检索 位运算 总结
  • MYSQL:事务

    事务 理解事务 事务操作 案例 事务的特性 事务的隔离级别 事务的隔离级别 操作 在MySQL中的事务 Transaction 是由存储引擎实现的 在MySQL中 只有InnoDB存储引擎才支持事务 事务处理可以用来维护数据库的完整性 保证
  • 大中型企业网项目实战2021-10-07

    1 问答题 大中型企业网项目实战 实验作业 一 安全管理 1 依据图中拓扑 为全网设备定义主机名 关闭域名解析 并在 Console 和VTY 线路下关闭线路超时并开启输出同步 依据图中拓扑在GNS3 IOU中搭建企业网 外链图片转存失败
  • 小程序封装form表单

    小程序封装form表单 在小程序中 表单是开发中最常用的组件之一 表单可以接收用户的输入数据 并提交给服务器进行处理 为了提高表单的复用性和减少代码重复 我们可以考虑对表单进行封装 使得表单可以在不同的页面中进行复用 本文将分享如何在小程序
  • 查看Linux系统信息

    1 登录到linux服务器执行 lsb release a 命令 即可查看所有版本信息 这个命令适用于所有的linux 包括Redhat SuSE Debian等发行版 注意 centos需要安准lsb LSB是一套核心标准 它保证了LIN
  • dubbo源码实践-serialize层的例子

    目录 1 serialize层概述 2 序列化的简单例子 2 1 项目截图 2 2 三个类的源码 2 2 1 ABC是实体类 2 2 2 TestSeriarsWrite把ABC对象序列化到文件中 2 2 3 TestSeriarsRead
  • Linux内核——cli()和sti()——标志寄存器的中断标志

    cli 和sti 有点类似于汇编指令中的CLI和STL 当某个任务在执行的过程中不想被中断 则可以在任务的开始出执行cli 在任务的结束处执行sti 恢复中断的执行 为了避免竞争条件和中断对临界代码区的干扰 在Linux 0 12内核代码中
  • IDEA中使用Junit测试

    文章目录 一 创建一个Maven项目 二 在Maven项目中添加JUnit依赖 三 创建测试类 一 创建一个Maven项目 二 在Maven项目中添加JUnit依赖 在pom xml中添加JUnit依赖
  • 【图解】用虚拟机做服务器

    最近在学nodejs 不知道有没有人跟我有一样的困惑 每次学新东西配置实验环境都是个麻烦事 其实也没那么麻烦 主要是当自己的电脑装了一堆环境 一堆IDE后 总会变得臃肿不堪 而且经常遇到莫名其妙的问题 解决麻烦 还容易造成系统的不稳定 而且
  • 支付宝支付回调代码(验签,订单状态,金额,appid等校验),支付, 提现相关demo

    1 支付回调 注意金额 用字符串 否则容易失真 验证失败 RequestMapping callBack public JSONMessage payCheck HttpServletRequest request HttpServletR
  • hadoop-3.0.0完整版HA部署

    一 环境准备 Linux7 2 hadoop 3 0 0 tar gz JDK1 8 二 下载源 hadoop3 0 0下载地址 https archive apache org dist hadoop common zookeeper 3