调整使用底层 HBase 表的 Hive 查询

我在 Hbase 中有一个表，比如说“tbl”，我想使用它来查询它 蜂巢。因此我将一个表映射到 hive，如下所示：

CREATE EXTERNAL TABLE tbl(id string, data map<string,string>)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,data:")
TBLPROPERTIES("hbase.table.name" = "tbl");

查询如：

select * from tbl", "select id from tbl", "select id, data
from tbl

真的很快。

但像这样的查询

select id from tbl where substr(id, 0, 5) = "12345"

select id from tbl where data["777"] IS NOT NULL 

非常慢。

相反，当从 Hbase shell 运行时：

"scan 'tbl', {
COLUMNS=>'data', STARTROW='12345', ENDROW='12346'}" or
"scan 'tbl', { COLUMNS=>'data', "FILTER" =>
FilterList.new([qualifierFilter('777')])}"

快如闪电！

当我在 jobtracker 上查看 hive 生成​​的 mapred 作业时，我 发现“map.input.records”计算了Hbase表中的所有项目， 这意味着该作业在启动任何映射器之前都会进行全表扫描！ 此外，我怀疑它将所有数据从 Hbase 表复制到 hdfs 以 执行前映射器 tmp 输入文件夹。

所以，我的问题是 - 为什么 hive 的 hbase 存储处理程序无法翻译 hive 查询适当的 hbase 函数？为什么它扫描所有记录 然后使用“where”子句对它们进行切片？如何改进？

任何提高 Hive 查询性能的建议（映射到 HBase 表）。

我们可以在HBase表上创建二级索引吗？

我们正在使用 HBase 和 Hive 集成并尝试调整 Hive 查询的性能。

很多问题！我会尽力回答所有问题并为您提供一些性能提示：

数据不会复制到HDFS，但HIVE生成的mapreduce作业会将其中间数据存储在HDFS中。

HBase 不支持二级索引或替代查询路径（更多信息 https://hbase.apache.org/book.html#secondary.indexes).

Hive 会将所有内容转换为 MapReduce 作业，这些作业需要时间来分发和初始化，如果行数非常少，Hbase shell 中的简单 SCAN 操作可能比 Hive 查询更快，但在大数据集上分发作业数据节点之间是必须的。

从查询中提取开始和停止行键时，Hive HBase 处理程序做得不太好，例如substr(id, 0, 5) = "12345"不会使用开始和停止行键。

在执行查询之前，运行EXPLAIN [your_query];命令并检查filterExpr:如果没有找到，您的查询将执行全表扫描。附带说明一下， 中的所有表达式Filter Operator:将被转化为适当的过滤器。

EXPLAIN SELECT * FROM tbl WHERE (id>='12345') AND (id<'12346')
STAGE PLANS:
  Stage: Stage-1
    Map Reduce
      Alias -> Map Operator Tree:
        tbl 
          TableScan
            alias: tbl 
            filterExpr:
                expr: ((id>= '12345') and (id < '12346'))
                type: boolean
            Filter Operator
                ....

幸运的是，有一种简单的方法可以确保在查找行键前缀时使用开始和停止行键，只需转换substr(id, 0, 5) = "12345"更简单的查询：id>="12345" AND id<"12346"，它将被处理程序检测到，并且开始和停止行键将提供给 SCAN (12345, 12346)

现在，这里有一些提示，可以加快您的查询速度（大大加快）：

• 确保设置以下属性以利用批处理来减少 RPC 调用的数量（数量取决于列的大小）

  SET hbase.scan.cache=10000;

  SET hbase.client.scanner.cache=10000;

• 确保设置以下属性以在任务跟踪器中运行分布式作业，而不是运行本地作业。

  SET mapred.job.tracker=[YOUR_JOB_TRACKER]:8021;

  SET hbase.zookeeper.quorum=[ZOOKEEPER_NODE_1],[ZOOKEEPER_NODE_2],[ZOOKEEPER_NODE_3];

• 将 SELECT 语句的列数减少到最少。尽量不要SELECT *

• 每当您想要使用开始和停止行键来防止全表扫描时，请始终提供key>=x and key<y表达式（不要使用 BETWEEN 运算符）

• Always EXPLAIN SELECT在执行查询之前。