程序员经验分享-hwhale

HBase学习 -安装Hbase（2）

2023-11-08

目录：

  1. 安装模式
    1. 独立式HBase安装                （使用自带的Zookeeper）
    2. 独立于HDFS的HBase安装    （使用自带的Zookeeper）
    3. 伪分布式HBase安装            （使用自带的Zookeeper）
    4. 伪分布式HBase安装            （不使用自带的Zookeeper）
    5. 完全分布式安装                     （不使用自带的Zookeeper）
  2. 安装步骤：
    注意：各版本之间的兼容
    1. 基本环境：
      1. Ubuntu15.10或者 centOS
      2. jdk1.7
    2. 安装并启动基础条件，比如：Hadoop-2.7.3、Zookeeper-3.4.10
    3. 安装HBase-1.2.6
      1. 下载、上传、解压
      2. 配置环境变量
      3. 配置HBase
      4. 启动HBase
      5. 验证：HBase Web界面： 
        http://localhost:60010

一.独立式HBase安装

详细步骤：

  1. 前提条件：安装 jdk
  2. 安装HBase
    1. 上传、解压 
      第一步：上传到home目录下安装
第二步：解压命令： tar -zxvf hbase-1.2.6-bin.tar.gz -C /home
    2. 配置环境变量，将bin目录添加到PATH路径下
      # vi /etc/profile
      在最后添加两行 
      HBASE_HOME=/home/hbase-1.2.6
PATH=$PATH:$HBASE_HOME/bin
      让其生效 
      #source /etc/profile
    3. 配置HBase
      1. 第一步：配置 hbase-env.sh，让HBase关联jdk，并使用自带的zookeeper
        # cd /home/hbase-1.2.6/
        # vi conf/hbase-env.sh 
        export JAVA_HOME=/home/jdk1.7.0_80
#默认为true，不添加此行也可以，当不使用自带的Zookeeper，改为false即可
export HBASE_MANAGES_ZK=true
      2. 第二步：配置hbase-site.xml 
        # mkdir /home/hbase-1.2.6/data
        # vim conf/hbase-site.xml  
        <configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///tmp/hbase/data</value>
    <!--hbase.rootdir是指定HRegion服务器的位置，即数据存放的位置-->
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hbase-1.2.6/data/zookeeper</value>
    <!--hbase zookeeper数据存储地址-->
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>false</value>
    <!--hbase.cluster.distributed是设置HBase的运行模式，
    false是单机模式，true是分布式模式，默认为false。
    如果是false, HBase和Zookeeper会运行在同一个JVM里面。-->
  </property>
</configuration>
    4. 启动HBase
      执行bin目录下的start-hbase.sh就可以启动hbase，因为配置了HBase环境变量，在任意目录执行start-hbase.sh都可以启动hbase，以下操作同理 
      启动：
start-hbase.sh

验证:用jps指令查看，可以看到有HMaster程序：
jps

进入HBase Shell模式：运行bin目录下的hbase shell可进入HBase Shell：
bin/hbase shell

关闭：
stop-hbase.sh

 

二.独立于HDFS的HBase

简要步骤：

  1. 前提条件：安装jdk 、Hadoop
  2. 安装HBase（使用自带的Zookeeper）：和 【独立式HBase安装】相比，除了需要提前安装Hadoop外，仅仅hbase-site.xml有所差别 
    <configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://192.168.200.10:9000/hbase</value>
    <!--hbase.rootdir是数据存放的位置，这里换成hadoop中hdfs上的位置
        注意：注意9000的端口要跟hadoop安装目录/etc/hadoop/core-site.xml中的端口号一样
    -->
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hbase-1.2.6/data/zookeeper</value>
    <!--hbase zookeeper数据存储地址-->
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>false</value>
    <!--hbase.cluster.distributed是设置HBase的运行模式，
    false是单机模式，true是分布式模式，默认为false。
    如果是false, HBase和Zookeeper会运行在同一个JVM里面。-->
  </property>
</configuration>
  3. 启动
    先启动Hadoop：start-all.sh
    启动HBase：start-hbase.sh

 

三.伪分布式HBase（使用自带的zookeeper）

简要步骤：

  1. 前提条件：安装jkd、Hadoop
  2. 安装HBase（使用自带的Zookeeper）：和 【独立式HBase安装】相比，除了需要提前安装Hadoop外，仅仅hbase-site.xml有所差别 
    <configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://192.168.200.10:9000/hbase</value>
    <!--hbase.rootdir是数据存放的位置，这里换成hadoop中hdfs上的位置
        注意：注意9000的端口要跟hadoop安装目录/etc/hadoop/core-site.xml中的端口号一样
    -->
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hbase-1.2.6/data/zookeeper</value>
    <!--hbase zookeeper数据存储地址-->
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>ture</value>
    <!--hbase.cluster.distributed是设置HBase的运行模式，
    false是单机模式，true是分布式模式，默认为false。
    如果是false, HBase和Zookeeper会运行在同一个JVM里面。-->
  </property>
</configuration>
  3. 启动
    先启动Hadoop：start-all.sh
    启动HBase：start-hbase.sh
  4. HBase Web界面访问
    注意：需要关闭liunx、windows的防火墙
    可以在web端看到hbase的相关信息，在单机上部署，输入网址：http://192.168.200.10:16010 （注意：192.168.200.10是安装hbase的虚拟机ip） 即可看到，注意端口号默认为16010
  5. 进入hbase shell中，开启hbase的基本操作 
    进入shell模式：
#bin/hbase shell

查看HBase状态：
status

创建新表
create 'test', 'cf'
第一个参数是表的名字，第二个是列族的名字。不需要定义列，因为列是可以动态增加的

     

四.伪分布式HBase（不使用自带的zookeeper）

详细步骤：

  1. 前提条件：安装jdk、Hadoop、zookeeper单机即可
  2. 安装HBase
    1. 下载
    2. 上传
    3. 解压
    4. 配置环境变量
    5. 配置
      1. hbase-env.sh 
        export JAVA_HOME=/home/jdk1.7.0_80
#默认为true，不添加此行也可以，当不使用自带的Zookeeper，改为false即可
export HBASE_MANAGES_ZK=false
      2. hbase-site.xml 
        <configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
  </property>
  <!--
    可以不配置，如果要配置，需要和zookeeper配置文件zoo.cfg中的dataDir指定的路径相同
    zoo.cfg中dataDir=/home/zookeeper-3.4.10/data1
  -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/zookeeper-3.4.10/data1</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <!--如果是zookeeper单机-->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>

  
  <!--如果是zookeeper伪分布式-->
  <!--指定zookeeper集群-->
  <!--
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost：2181，localhost：2182，localhost：2183</value>
    <!--如果配置了ip映射主机名，可以是<value>kd01,kd02,kd03</value> 
  </property>
  -->
</configuration>
    6. 启动
      1. 先启动Hadoop、zookeeper
      2. 再启动hbase
    7. web访问

 

四.完全分布式

可参考博客：hbase集群安装

简要条件：

  1. 前提条件：安装jdk、Hadoop分布式、Zookeeper分布式
  2. 安装HBase：和 【独立式HBase安装】相比，除了需要提前安装Hadoop集群和zookeeper集群外，还有如下配置文件有所差别
    1. hadoop集群安装教程
    2. zookeeper集群安装教程：zookeeper集群安装教程
    3. 修改hbase-env.sh配置文件 
      export JAVA_HOME=/home/jdk1.7.0_80
#默认为true，不添加此行也可以，当不使用自带的Zookeeper，改为false即可
export HBASE_MANAGES_ZK=false
    4. 修改hbase-site.xml配置文件 
      <configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
  </property>
  <!--
    可以不配置，如果要配置，需要和zookeeper配置文件zoo.cfg中的dataDir指定的路径相同
    zoo.cfg中dataDir=/home/zookeeper-3.4.10/data1
  -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/zookeeper-3.4.10/data1</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <!--如果是zookeeper伪分布式-->
  <!--
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>localhost</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  -->
  
  <!--如果是zookeeper集群-->
  <!--指定zookeeper集群-->
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>192.168.100.11,192.168.100.12,192.168.100.13</value>
    <!--如果配置了ip映射主机名，可以是<value>kd01,kd02,kd03</value>  -->
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
</configuration>
      说明 
      hbase.zookeeper.property.dataDir：hbase zookeeper数据存储地址
hbase.zookeeper.quorum：zookeeper集群的地址
hbase.zookeeper.property.clientPort：zookeeper集群的端口
    5. 新建backup-masters文件，并做修改 
      [root@kd01 conf]$ vi backup-masters

# 添加备用hbase-master
kd02
    6. 修改regionservers配置文件，加入RegionServer节点列表 
      [root@kd01 conf]$ vi regionservers

# 默认有一行localhost，删除
kd01
kd02
kd03
    7. 把hadoop的配置文件core-site.xml和hdfs-site.xml复制到hbase的配置文件目录下
    8. 把hbase安装目录分发给其他节点
  3. 启动
    1. 首先启动zookeeper集群 
      zkServer.sh start
    2. 然后启动HDFS集群 
      start-dfs.sh
    3. 最后启动hbase集群 
      start-hbase.sh
  4. 验证：通过jps查看进程或者访问WEB页面进行验证
  5. HBase如何识别HMaster
    如果不在配置文件(hbase-site)中指定master
    那么在哪台机器上执行./hbase/bin/start-hbase.sh，哪台机器就会被认为是HMaster。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

HBase

HBase学习 -安装Hbase（2） 的相关文章

  • SSM整合~

    构建并配置项目 第一步 创建maven项目 第二步 配置pom xml文件 设置打包方式 为了方便部署 我们通常情况下 将项目打包为WAR 因为WAR文件是一种可执行的压缩文件 它可以将项目以独立的形式打包 包含了所有的项目资源以及配置文件

  • 运维开发招聘要点

    运维开发招聘要点 多年以上Python开发经验 Shell编码能力优秀 熟练使用Shell或者Python等脚本语言 熟悉Centos或者Ubuntu等Linux发行版系统 熟练Shell Python脚本开发语言 熟悉阿里云等公有云产品

  • Mathtype公式在visio中显示不正常（显示方框）的批量处理方法

    问题描述 在使用mathtype在visio中插入公式的时候 总是遇到显示方框的情况 这种情况往往出现在对画图缩放一定程度之后 公式就有一定概率显示不正常了 如下图所示 麻烦的方法是 双击图中的方框 打开编辑器 然后 crtl s 退出即可

  • 查看java编程环境变量是否正确

    验证Java编程环境是否配置成功 1 点击键盘Windows r键 打开运行提示框输入cmd按回车键打开命令框 2 输入javac 点击回车 查看java编译环境是否正常 3 输入 java 点击回车 查看java运行环境是否正常 4 输入

  • VS Code python自定义类或者函数Import后无自动补全提示

    用VS code写python 标准模块自动补全都没有问题 在用自定义的module import后怎么都没有补全提示 最后替换掉Microsoft python analysis engine 用了Jedi as intellisense

  • django jsonrpc ajax,django-json-rpc · PyPI

    Features Simple pythonic API Support for Django authentication Supports JSON RPC 1 0 1 1 1 2 and 2 0 Spec Proxy to test

  • ROS下搭建仿真模拟环境，编程控制小车，按照给定赛道完成比赛

    文章目录 一 下载包以及编译 1 下载源码包 2 编译 3 错误解决 1 controllers相关 2 driver base相关 3 ackermann msgs相关 4 Could not find a package configu

  • 自定义注册、登录的校验规则（自定义validate校验规则）

    在做项目时 有一个校验用户信息的步骤 分为前端校验和后台校验 前端校验已经存在了许多插件方便了我们的使用 如validate 然而有些时候我们要用的校验规则插件中并没有 这就需要我们自定义校验规则了 接下来讲述一下validate的使用和自

  • Windows Terminal配置

    Windows Terminal配置 一 安装 二 默认终端配置 三 配置在当前文件打开终端 现在安装之后好像Terminal之后好像是自动配置的 不用人工配置 1 右键打开 2 设置打开Terminal为当前目录 四 主题 五 完整版配置

  • 消息队列对比

    目录 什么是消息队列 常用的消息队列工具对比 1 ActiveMQ 2 RabbitMQ 3 Kafka 4 RocketMQ 什么是消息队列 消息队列是分布式应用间交换信息的重要组件 消息队列可驻留在内存或磁盘上 队列可以存储消息直到它们

  • typescript, javascript, 字符串固定位置插入字符

    js和ts里连个字符串插入方法都没有 难受 这个参考了python中index可以是负数从后向前数的思想 自己写了一个 字符串插入函数 自己确认插入位置 若位置不对会抛出异常 param string src 原字符串 param numb

  • Kotlin 1.3 终于正式发布，带来了稳定的 Coroutines、beta版本的Kotlin/Native

    Kotlin 官网 https kotlinlang org Github 地址 https github com JetBrains kotlin 此次版本更新包括 Coroutines 的正式发布 Kotlin Native Beta

  • js中every用法_JS中every()和some()的用法

    every 与some 方法都是JS中数组的迭代方法 every 是对数组中每一项运行给定函数 如果该函数对每一项返回true 则返回true some 是对数组中每一项运行给定函数 如果该函数对任一项返回true 则返回true func

  • 44. 日志管理之systemd日志,持久化设置,journal,systemd-journald,查看日志(journalctl)

    Systemd 统一管理所有 Unit 的启动日志 可以只用journalctl一个命令 查看所有相关日志 内核日志和应用日志 日志的配置文件是 etc systemd journald conf 文章目录 持久化systemd日志 查看日

  • 时序预测

    时序预测 MATLAB实现时间序列回归之似然检验 目录 时序预测 MATLAB实现时间序列回归之似然检验 基本介绍 程序设计 学习小结 参考资料 基本介绍 使用 CNLM 假设制定的 t 和 F 检验版本可以在创新分布偏离规范的各种情况下提

  • 【mcuclub】压力检测模块-XGZP6847

    一 实物图 型号 XGZP6847 二 原理图 编号 名称 功能 1 NC 空置 2 VDD 电源正 3 GND 电源地 4 VDD 电源正 5 OUT 信号引脚 输出的是模拟量 6 GND 电源地 三 简介 XGZP6847型压力传感器是

随机推荐

  • Spyder预测标签和真实标签以Mat格式输出（待续）

    1 需求 需要将Spyder里面的预测标签和真实标签输出 并保存为Mat格式 以通过Matlab生成混淆矩阵 为什么要用Matlab生成混淆矩阵呢 python不是也是可以的吗 import pandas as pd import torc

  • 【《程序员的自我修养---链接装载于库》读书笔记】可执行文件的装载与进程

    系列文章目录 程序员的自我修养 链接装载于库 读书笔记 初探ELF 程序员的自我修养 链接装载于库 读书笔记 windows PE COFF 程序员的自我修养 链接装载于库 读书笔记 可执行文件的装载与进程 文章目录 系列文章目录 前言 6

  • 为什么TCP建立连接要求发送方和接收方的初始化序列号不一样的呢？

    前几天有位读者问我为什么 TCP 建立连接需要三次握手文章中一个问题 就是他不明白 序列号解决了数据包的缺失和顺序颠倒等问题 但为什么要求发送方和接收方的初始序列号不一样 后来 我跟他交流半个小时 终于把他讲明白了 我觉得应该有不少人会有以

  • postman之在tests断言中使用for循环断言和断言空

    一 tests断言中使用for循环断言 1 在使用postman判断过程中 想要实现这么一个场景的判断 因为banner位置的配置是多变的 可以不配置 可以配置一个 也可以配置多个 在接口检测判断过程中想要通过for循环对banner列表中

  • Ubuntu安装了python3.8和python3.7，安装numpy时出现问题

    环境 Ubuntu20 04 由于目前PySpark只支持python3 7及以下的版本 而Ubuntu20 04自带的python3是python3 8 5 于是我安装了python3 7 9 且没有改动默认的python版本 千万别改

  • 接口测试的维度

    在 Python自动化测试实战 的书籍里面系统的介绍了基于Python语言的接口自动化测试实战和基于Python语言的UI自动化测试实战 特别是接口测试部分 详细的介绍了HTTP的协议原理 序列化与反序列化 主流测试工具 Postman和J

  • 2020CCPC河南省赛 发通知（离散+差分）

    学院一共有 n 位学生 用 1 编号 每天 学院都会派遣辅导员给学生发送若干通知 以保证各项措施 活动消息得到落实 现在 学院要求辅导员发送一条关于光盘行动的通知 对于通知信息 同学们的反应往往各不相同 辅导员预测出第 i 号学生收到通知后

  • vue面试题——v-if 和v-show的区别

    面试前端时 涉及到vue v if和v show几乎是必问的一道题 所以记录一下 首先我们先来看一段代码

  • iwconfig查看网卡 ifconfig查看ip /etc/init.d/ssh restart

    iwconfig查看网卡 ifconfig查看ip etc init d ssh restart 开启ssh服务 1 查看是否有sshd config cat etc ssh sshd config 查看是否有sshd config文件 2

  • python二级练习软件（90%原题）题库、三天速成。

    刷题软件 文末有联系方式 注明来意 我发现大家对考Python计算机二级都比较感兴趣 也有一些疑问 对于考证这个问题我简单说一下我的经验 python二级其实很容易通过 考试题题库是前九年真题加一套新题 你会遇到90 的原题 只要考前三天练

  • linux下搭建SVN遇到authentication failed问题的解决方法

    之前由于要管理项目组的文档 所以就想在linux下搭建一个svn平台 于是我就在网上找资料 并按照步骤搭建了一个SVN 结果老是出现一个authentication failed的错误 经过一个下午的努力 终于让我找出了错误的原因 一个非常

  • 微信小程序实例源码大全下载

    小程序QQ交流群 131894955 小程序开发直播腾讯课堂 https edu csdn net course detail 6743 微信小程序实例源码大全下载 微信小应用示例代码 phodal weapp quick 源码链接 htt

  • 避免Django重复提交表单，ERR_cache_miss错误

    在做项目时 遇到这个问题 首页设置为登录页login html 登录后跳转至工具页tool html 使用django自带的会话及身份验证中间件 自己认为的应该没问题 但总报标题所述错误 折腾了半天 终于解决 这里记录一下 我的urls p

  • 卷积神经网络详解

    卷积神经网络 Convolutional Neural Networks CNN 是应用最多 研究最广的一种神经网络 卷积神经网络 以下简称CNN 主要用于图片分类 自动标注以及产品推荐系统中 以CNN实现图片分类为例 图像经过多个卷积层

  • 【Unity入门计划】CreatorKitFPS:第一人称射击3D小游戏

    目录 Unity学习教程 1 添加并载入项目资源 添加项目资源 载入到Unity 2 载入Scene 3 从预制体添加射击Targets 4 管理游戏对象 4 1创建分组关系 4 2 区分相对坐标 世界坐标 5 自己做一个预制件 5 1 添

  • 【Python全栈开发从入门到实战】持续更新中......

    本专栏为Python全栈开发系列文章 技术包括Python基础 函数 文件 面向对象 网络编程 并发编程 MySQL数据库 HTML JavaScript CSS JQuery bootstrap WSGI Django Flask 后期运

  • OpenCV中的图像变换——傅里叶变换

    OpenCV中的图像变换 傅里叶变换 1 效果图 2 原理 3 源码 3 1 Numpy实现傅里叶变换 3 2 OpenCV实现傅里叶变换 3 3 HPF or LPF 参考 这篇博客将介绍OpenCV中的图像变换 包括用Numpy Ope

  • post方式加载iframe

    我们平常使用iframe时 直接设定src属性只能是get请求方式 get请求的参数大小有限制 如何实现即使用iframe又能通过post请求 两种方式 ajax使用post请求返回页面 直接将返回的页面数据放入iframe标签中 结合fo

  • linux-内核锁

    目录 一 铺垫知识 1 指令执行流 2 上下文 3 抢占 二 内核锁基础知识 1 为什么要用锁 why 2 锁保护什么 what 3 锁是如何保护资源的 How 三 各类锁的介绍 1 原子操作 2 spinlock 3 mutex 4 进程

  • HBase学习 -安装Hbase（2）

    目录 安装模式 独立式HBase安装 使用自带的Zookeeper 独立于HDFS的HBase安装 使用自带的Zookeeper 伪分布式HBase安装 使用自带的Zookeeper 伪分布式HBase安装 不使用自带的Zookeeper

热门标签