为行键放置不同值但在 hbase 中放置相同时间戳的解决方案？

我是 Hbase 的新人。将文本文件中的数据批量加载到 Hbase 时遇到问题。假设我有下表：

Key_id | f1:c1 | f2:c2
row1     'a'     'b'
row1     'x'     'y'

1. 当我解析2条记录并将其同时放入Hbase（相同的时间戳）时，则只有版本{row1 'x' 'y'}更新。解释如下：

当你将数据放入HBase时，需要一个时间戳。时间戳可以由 RegionServer 自动生成，也可以由您提供。给定单元的每个版本的时间戳必须是唯一的，因为时间戳标识版本。例如，要修改单元格的先前版本，您可以发出具有不同数据本身值但具有相同时间戳的 Put。

我正在考虑指定时间戳的想法，但我不知道如何自动设置批量加载的时间戳，它会影响加载性能吗？我需要最快且安全的大数据导入流程。

2. 我尝试解析每条记录并将其放入表中，但是速度非常非常慢...所以另一个问题是：在放入hbase之前应该批量处理多少条记录/数据大小。 （我写了一个简单的java程序来放置。它比我使用Importrtsv工具通过命令导入要慢得多。我不知道这个工具的批量有多少大小..）

非常感谢您的建议！

Q1：Hbase 使用时间戳来维护版本。如果您不提供，则采用 hbase 系统默认提供的值。

如果您有这样的要求，您也可以在放置请求中更新自定义时间。它不会影响性能。

Q2：您可以通过两种方式做到这一点。

• 具有批处理技术的简单 Java 客户端如下所示。

• Mapreduce importtsv（批量客户端）

例如：#1 使用批处理技术的简单 Java 客户端。

我使用 hbase 批量列出 100000 条记录的对象来解析 json（类似于您的独立 csv 客户端）

下面是我实现这一目标的代码片段。解析其他格式时也可以做同样的事情）

可能你需要在两个地方调用这个方法

1）批量为100000条记录。

2) 对于您的批次记录少于100000条的处理提醒

  public void addRecord(final ArrayList<Put> puts, final String tableName) throws Exception {
        try {
            final HTable table = new HTable(HBaseConnection.getHBaseConfiguration(), getTable(tableName));
            table.put(puts);
            LOG.info("INSERT record[s] " + puts.size() + " to table " + tableName + " OK.");
        } catch (final Throwable e) {
            e.printStackTrace();
        } finally {
            LOG.info("Processed ---> " + puts.size());
            if (puts != null) {
                puts.clear();
            }
        }
    }

注意：批量大小在内部由以下因素控制hbase.client.write.buffer就像下面在您的配置 xml 之一中一样

<property>
         <name>hbase.client.write.buffer</name>
         <value>20971520</value> // around 2 mb i guess
 </property>

其默认值为 2mb 大小。一旦缓冲区被填满，它将刷新所有实际插入到表中的内容。

此外，mapreduce 客户端或具有批处理功能的独立客户端 技术。批处理由上述缓冲区属性控制