如何在 Hive 中访问 HBase 表,反之亦然?

2024-02-11

作为一名开发人员,我通过使用以下命令从现有 MySQL 表导入数据,为我们的项目创建了 HBase 表:sqoop job。问题是我们的数据分析师团队熟悉MySQL语法,意味着他们可以查询HIVE轻松上桌。对于他们,我需要在 HIVE 中公开 HBase 表。我不想通过在 HIVE 中再次填充数据来复制数据。此外,复制数据将来可能会出现一致性问题。

我可以在 HIVE 中公开 HBase 表吗无需重复数据?如果是,我该怎么做?另外,如果我insert/update/delete我的 HBase 表中的数据更新后的数据会出现在 HIVE 中吗?

有时,我们的数据分析团队会在 HIVE 中创建表并填充数据。我可以将它们暴露给 HBase 吗?如果是,怎么办?


HBase-Hive 集成:

创建一个external tableHive 中的 HBase 表允许您在 Hive 中查询 HBase 数据,而不需要复制数据。您可以只更新或删除 HBase 表中的数据,也可以在 Hive 中查看修改后的表。

Example:

假设您有一个包含列的 hbase 表id, name and email.

hive 的外部表命令示例:

CREATE EXTERNAL TABLE hivehbasetable(key INT, id INT,  username STRING, password STRING, email STRING) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,id:id,name:username,name:password,email:email") TBLPROPERTIES("hbase.table.name" = "hbasetable");

有关 Hive-Hbase 集成的更多信息,请查看here https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在 Hive 中访问 HBase 表,反之亦然? 的相关文章

随机推荐

  • Rails 多对多嵌套形式:如何防止重复?

    我在 Rails 3 2 3 应用程序中设置了一个嵌套表单 它工作正常 我的模型是 class Recipe lt ActiveRecord Base attr accessible title description excerpt da
  • 角度主题

    我希望在我的 Angular 5 web 应用程序中实现一个主题 我没有将 Angular Material 用于所有内容 即我只使用输入字段和某些组件 我正在寻找一个可以在运行时使用 控制 更改的主题解决方案 而不必重新编译我的应用程序
  • 确定 IEnumerable 是否包含另一个 IEnumerable 的任何对象

    我有2个IEnumerable
  • 如何在Windows上使用git推送到github?

    简单地说 我不能 HTTPS推送 Eclipse git 插件不支持它 here http www vogella de blog 2010 08 09 git https msygit UI 消耗所有现有内存并挂起 tortoisegit
  • MPI 奇偶排序如何工作?

    只是在面试前查看了一些笔记 我很难理解如何奇偶排序 http en wikipedia org wiki Odd E2 80 93even sort在并行架构中工作 int MPI OddEven Sort int n double a i
  • 如何用C/C++语言查找Linux/UNIX中进程的所有读写内存地址?

    通过 proc 文件系统 可以使用 proc PID PROCESS maps 读取内存映射 但是在 C C 中是否有专门用于此功能的本机 API 即找出 PID 9322 的进程可写和可读的内存地址 gt awk F 3 rw print
  • setPersistenceEnabled(true) 使应用程序崩溃

    我正在创建我的第一个 Firebase 应用程序 它的要求之一是在网络不可用时运行 Firebase 指南指出 启用磁盘持久性允许我们的应用程序即使在应用程序重新启动后也能保留其所有状态 我们只需一行代码即可启用磁盘持久性 Firebase
  • Linux 内核如何知道应该从系统调用路径参数中读取多少字节?

    我在google上搜索发现Linux内核使用结构体来存储变量 define EMBEDDED LEVELS 2 struct nameidata struct path path struct qstr last struct path r
  • 生成通用列表的组合

    我需要从另一个列表创建一个列表 其中包含所有可能的组合 在研究可能的解决方案时 我发现了许多有趣的方法 但所有方法似乎都是根据提供的记录计数生成结果 我需要将组合增加到最大阈值 即考虑以下数组 1 2 3 4 5 我需要结果看起来类似于 本
  • Xdebug 在 MAMP 中不起作用

    我安装了 PHP 5 5 3 的 MAMP 我的 php ini 文件 MAMP conf php5 5 3 php ini 的结尾是这样的 OPcache zend extension Applications MAMP bin php
  • 使用 td 属性计算乘积之和

    我有这张表 table thead tr th Quantity th th nbsp th th Price th th Sum th tr thead tbody tr class sum td td tr tbody table
  • SOA:跨多个服务连接数据

    假设我们有 2 项服务 产品和订单 根据我对SOA的理解 我知道每个服务都可以有自己的数据存储 一个单独的数据库 或者同一数据库中的一组表 但任何服务都不允许直接接触另一个服务的数据存储 现在 假设我们已将产品和订单数据独立存储在产品和订单
  • Python Dash:将 pandas 数据帧加载到数据表中

    我一直在尝试构建一个应用程序Dash https plot ly products dash 最近 尽管浏览了许多指南 我还是无法弄清楚如何将 pandas 数据框导入到 Dash 的数据表中 本质上是一个 pandas 数据框 除了网络托
  • 是否应该将 AssemblyInfo.cs 置于版本控制中?

    我有一个使用 CruiseControl 的自动构建系统 我正在使用 SvnRevisionLabeller 来获取要使用的版本字符串 有了这个字符串 我可以使用 nant 更新 AssemblyInfo cs 这样当我构建时它就有正确的构
  • 绘制完后如何删除所有形状

    从这里参考来源谷歌地图绘图工具 http code google com p gmaps samples v3 source browse trunk drawing drawing tools html r 282 如何一键删除所有绘图形
  • 调用另一个 lisp 文件中的函数

    我必须用 Lisp 写一个游戏 为了清楚起见 我想将代码拆分到不同的 lisp 文件中 如何从另一个文件中的函数中调用函数 例如 file1 lisp 有一个名为 function1 的函数 file2 lisp 有一个名为 functio
  • 如何测试 Web 应用程序中的上下文菜单功能?

    我正在使用一个有上下文菜单 右键单击 的 grails 应用程序 上下文菜单是使用 Chris Domigan 构建的jquery 上下文菜单插件 http www trendskitchens co nz jquery contextme
  • 我们如何使用 Cake 构建对安全的 NuGet 服务器进行身份验证?

    我们正在致力于使用 Cake Build 实现构建自动化 并使用 nuget org 中的 NuGet 包 但我们也有自己的 NuGet Feed 服务器 该服务器具有用户名 密码身份验证来访问 我们如何将 Cake Build 与具有身份
  • ImportError:无法在 Google Cloud Language API 中导入名称语言

    我正在尝试使用 Google Natural Language API 中的示例代码来获取情绪分数 但是 每次运行代码时 我都会收到 ImportError 无法导入名称语言 第一行错误 我已经 pip 安装了该库 尝试卸载并重新安装 在控
  • 如何在 Hive 中访问 HBase 表,反之亦然?

    作为一名开发人员 我通过使用以下命令从现有 MySQL 表导入数据 为我们的项目创建了 HBase 表 sqoop job 问题是我们的数据分析师团队熟悉MySQL语法 意味着他们可以查询HIVE轻松上桌 对于他们 我需要在 HIVE 中公