Hive 上的自定义 MapReduce 程序，规则是什么？输入和输出怎么样？

我被困了几天，因为我想根据我在 hive 上的查询创建一个自定义的地图缩减程序，在谷歌搜索后我发现没有太多例子，而且我仍然对规则感到困惑。

创建自定义 MapReduce 程序的规则是什么？映射器和减速器类怎么样？

任何人都可以提供任何解决方案吗？

我想用Java开发这个程序，但我仍然卡住了，然后在收集器中格式化输出时，如何在映射器和减速器类中格式化结果？

有人想给我一些关于这类东西的例子和解释吗？

基本上有两种方法可以将自定义映射器/化简器添加到 hive 查询。

1. using transform

SELECT TRANSFORM(stuff1, stuff2) FROM table1 USING 'script' AS thing1, 东西2

其中 stuff1、stuff2 是 table1 中的字段，而 script 是接受我稍后描述的格式的任何可执行文件。 thing1、thing2 是脚本的输出

1. 使用映射和减少

FROM (
    FROM table
    MAP table.f1 table.f2
    USING 'map_script'
    AS mp1, mp2
    CLUSTER BY mp1) map_output
  INSERT OVERWRITE TABLE someothertable
    REDUCE map_output.mp1, map_output.mp2
    USING 'reduce_script'
    AS reducef1, reducef2;

这稍微复杂一些，但提供了更多控制。这有两个部分。在第一部分中，映射器脚本将从以下位置接收数据：table并将其映射到字段 mp1 和 mp2。然后将这些传递给reduce_script，这个脚本将接收我们在键上指定的排序输出CLUSTER BY mp1. 请注意，一个减速器将处理多个键。减少脚本的输出将进入表someothertable

现在所有这些脚本都遵循一个简单的模式。他们将从标准输入中逐行读取。这些字段将是\t分隔，它们将以相同的方式写回标准输出（字段由 '\t' 分隔）

看看这个博客，有一些很好的例子。

http://dev.bizo.com/2009/07/custom-map-scripts-and-hive.html http://dev.bizo.com/2009/07/custom-map-scripts-and-hive.html

http://dev.bizo.com/2009/10/reduce-scripts-in-hive.html http://dev.bizo.com/2009/10/reduce-scripts-in-hive.html