Hbase集成到Hadoop的一些注意事项

2023-11-11

安装、部署hadoop和hbase的文章网上已经很多了,这里说下自己安装、部署时遇到的 一些问题。
1、  hadoop-env.sh的文件里添加:
export HADOOP_CLASSPATH=$HBASE_HOME/hbase-0.20.3.jar:$HBASE_HOME/conf: $HBASE_HOME/lib/zookeeper-3.2.2.jar
注意红色部分,网上的文档没提到,但不加的话利用Mapreduce提取Hbase数据时会说找不 到zookeeper相关类,还是加上省事!
(这里多说一点,个人觉得在 hadoop的文件里直接这样制定HADOOP_CLASSPATH不是很好,会导致其他在shell里指定export HADOOP_CLASSPATH=...的无效,估计是冲突了。其他各式各样的Mapreduce程序依赖的jar包总不能全部写到hadoop- env.sh里吧?所以,感觉把hbase和zookeeper两个jar包直接放到hadoop的lib下更好点!)
2、  启动Hbase时老启动不了,都是些链接的问题,这个时候要查查看机器的hosts设置是否正确。还有hbase的配置文件,如hbase- site.xml、regionservers等文件里的机器最好写域名,写ip它不认,不知道是不是版本问题。
3、  hbase-site.xml的配置:
<property>
    <name> hbase.rootdir</name>
    <value> hdfs://join191.hbase.xxx.net:9100/hbase</value>
    <description> </description>
  </property>
  <property>
    <name> hbase.master</name>
    <value> join191.hbase.xxx.net:60000</value>
    <description>The port master should bind to.</description>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>false</value>
    <description> </description>
  </property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value> join191.hbase.xxx.net</value>
    <description></description>
 </property>
其中hbase.rootdir的hdfs://join191.hbase.xxx.net:9100 与 hadoop(core-site.xml)中的fs.default.name对应,当然,hadoop的配置里可以用ip,hbase里得用域名。保 证格式路径一样就行。
Hbase.master在hbase- default.xml里是叫Hbase.master.port的,去掉port,把域名和端口写一起也可以。
如果是分布式的话,把上面的hbase.cluster.distributed设置为true, 并在hbase-env.sh里的设置export HBASE_MANAGES_ZK=true。
另外如果是把利用Mapreduce跑hbase程 序的工程打成jar包的话,个人偏向于把hbase-site.xml打进包里(线上的配置),这样省的node节点报一些zookeeper报一些错误 (因为这些光是在hbase里配置还不行,因为是利用hadoop的Mapreduce程序运行,hadoop需要知道hbase的这个配置。当然,把这 个配置指定到hadoop的classpath或放到hadoop的conf下应该也行,不过没试过)。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Hbase集成到Hadoop的一些注意事项 的相关文章

随机推荐

  • Java 控制结构练习题

    练习1 某人有100 000元 每经过一次路口 需要交费 规则如下 1 当现金 gt 50000时 每次交5 2 当现金 lt 50000时 每次交1000 编程计算该人可以经过多少次路口 要求 使用while break方式完成 publ
  • opencv_contrib-master/modules/xfeatures2d/src/boostdesc.cpp:654:20: fatal error: boostdesc_bgm.i: No

    Hello i have downloaded opencv master and opencv contrib then tried to build opencv contrib using this command cmake DOP
  • Springcloud五大组件

    1 什么是springcloud springcloud是一系列框架的有序集合 它利用springboot的开发便利性巧妙地简化了分布式系统基础设施的开发 如服务发现注册 配置中心 消息总线 负载均衡 断路器 数据监控等 都可以用sprin
  • 提高代码阅读能力的7种方法

    原文 7 Ways to Improve Your Code Reading Skills 作者 A N M Bazlur Rahman 翻译 无阻我飞扬 摘要 随着越来越多的公司使用敏捷开发 能够阅读别人的代码比以往显得更重要 这就需要学
  • Python小项目:利用tkinter开发AI对战井字棋游戏

    文章目录 1 前言 2 代码分模块介绍 2 1 导入需要的库 2 2 定义全局变量 2 2 定义玩家类 2 3 定义页面类 2 4 定义页面变化类以及玩家与AI轮流转换下子权限 2 5 定义判断胜负类 2 6 定义智能AI下子类 3 整体代
  • java util.function.Supplier

    Interface Supplier
  • Java-模板方法设计模式

    Java 模板方法设计模式 1 概念 2 code举例 package p2 public class TemplateTest public static void main String args Template t new SubT
  • Web API-BOM- 操作浏览器

    Window对象 BOM Browser Object Model 是浏览器对象模型 window 对象下包含了 navigator location document history screen 5个属性 即所谓的 BOM 浏览器对象
  • h5手机端及pc端标准文档结构

    pc端
  • 为什么阻抗等于实加虚部呢?为什么有虚部呢,虚部是什么啊?

    为什么阻抗等于实加虚部呢 为什么有虚部呢 虚部是什么啊 2012 09 25 17 16 江山八秀 分类 物理学 浏览372次 提问者采纳 2012 09 25 17 40 电阻用实部表示 电抗用正的虚部表示 电容用负的虚部表示 一个器件的
  • 系列一、Fate简介及基于Docker的单机部署

    一 Fate简介 Fate是一个工业级联邦学习框架 所谓联邦学习指的就是可以联合多方的数据 共同构建一个模型 与传统数据使用方式相比 它不需要聚合各方数据搭建 数据仓库 联邦学习在联合计算建模的过程中 多方机构之间的数据是不会进行共享的 实
  • C++ ofstream和ifstrem

    原文出自 比特网 转载请保留原文链接 http soft chinabyte com database 460 11433960 sh ofstream是从内存到硬盘 ifstream是从硬盘到内存 其实所谓的流缓冲就是内存空间 在C 中
  • 【问题解决】ElasticSearch分页查询时数据顺序错乱/不一致的问题

    问题解决 ElasticSearch分页查询时数据顺序错乱 不一致的问题 问题描述 使用ElasticSearch分页查询时 每次输入同样的分页参数以及查询条件 得到的结果不一致的问题 问题分析 ElasticSearch中索引可能是由多个
  • mysql in 的两种用法

    简述MySQL 的in 的两种用法 他们分别是在 in 关键字后跟一张表 记录集 以及在in后面加上字符串集 先讲后面跟着一张表的 首先阐述三张表的结构 s sno sname sex age dept 学生信息表 c cno cname
  • 并发编程 三 synchronized

    多线程编程中 有可能会出现多个线程同时访问同一个共享 可变资源的情况 这个资源我们称之其为临界资源 这种资源可能是 对象 变量 文件等 由于线程执行的过程是不可控的 所以需要采用同步机制来协同对对象可变状态的访问 实际上 所有的并发模式在解
  • 双线性插值(超级易懂的)

    双线性插值 简介 在两个方向分别进行一次线性插值 首先在一个方向上使用线性插值 然后再在另一个方向上使用线性插值执行双线性插值 尽管每个步骤在采样值和位置上都是线性的 但是插值总体上不是线性的 而是在采样位置上是二次的 作用 一般用于重新采
  • 手把手带你用PyQt5做小型桌面应用

    导语 想制作属于自己的桌面应用程序吗 今天Disen带你手把手入门 桌面应用 什么是桌面应用 即在操作系统的可视化的桌面上 可以运行的程序 比如说QQ 微信 爱奇艺等这些都是桌面应用 早期开发桌面应用 都用哪些语言呢 桌面应用软件 在操作系
  • SpringMVC + ajaxfileupload的多文件上传

    最近做一个springmvc ajax多文件上传 倒腾了下 查阅了部分资料搞定了 现在分享 1 Spring mvc a xml配置
  • 线性代数的本质(Essense Of Linear Algebra)[1]

    论文转载自https blog csdn net wenzhunpu article details 77871631 最近学习了B站上一个关于线性代数的视频Essense Of Linear Algebra 主要从几何方面去讲解 非常形象
  • Hbase集成到Hadoop的一些注意事项

    安装 部署hadoop和hbase的文章网上已经很多了 这里说下自己安装 部署时遇到的 一些问题 1 hadoop env sh的文件里添加 export HADOOP CLASSPATH HBASE HOME hbase 0 20 3 j