或者 Hive 中的 JOIN 错误当前不支持

我正在 Hive 中运行一个查询，如下所示，并且在左连接中有 OR 条件。当我运行选择时，它会向我抛出一些错误消息。

1. OR 目前在 JOIN 中不支持（了解 OR 仅适用于 Hive 中的等值连接）

2. JOIN 'cre_timestamp' 中同时遇到左右别名

           a.line_id,
           a.seller,
           a.sellerid,
           a.sellername,
           a.item_no,
           a.item_cd,
           a.cre_timestamp
     from Table A
     left join Table B
     on translate(a.id,'0','') = translate(b.id,'0','')
     or translate(a.seller,'Z','') = translate(b.seller,'Z','')
     or (a.item_no=b.item_no and a.item_no is not null and a.item_cd is not null and a.item_no <> '' and a.item_cd <> '')
     left join ( select id, line_id,cre_timestamp from table x) C
     on a.id=c.id
     and a.cre_timestamp < c.cre_timestamp
     and a.cre_timestamp > date_sub(c.cre_timestamp,21)
     and translate(a.id,'0','') = translate(b.id,'0','') or a.item_cd = b.item_cd
    where a.seller is null

我们怎样才能克服这个问题呢？

#对于1： 我可以尝试编写查询的一种方法是，使用 UNION，针对 OR 条件复制查询 3 次。

#For 2:

如果我把

and a.cre_timestamp < c.cre_timestamp
     and a.cre_timestamp > date_sub(c.cre_timestamp,21)

并将其带入where底部的条款，效果很好。 （想了解为什么它在连接中不起作用）

总的来说，寻找一种更好的方法，不会影响运行时并且更优化查询，就好像我将其更改为使用UNION一样，它必须处理相同的查询3次，这会影响查询。

感谢您花时间调查此事。

我已经在这篇文章中尝试解释为什么非等（theta）连接在map-reduce框架中不起作用，这里不再重复，请阅读：为什么Hive不支持非等值连接 https://stackoverflow.com/a/64242637/2700344

现在，如果将非相等连接条件移至 where 子句，会发生什么：连接将仅使用相等条件进行工作，并且可能会产生一些重复，因为它可能是多对多连接。这些重复项将通过 WHERE 条件进行过滤。在最坏的情况下，如果根本没有相等条件，将执行 CROSS JOIN，这也很容易使用 MapReduce 框架实现，之后您可以过滤 where 中的行。过滤也很容易实现。

这是目前在 Hive 中实现 Theta-join 的唯一方法：在部分相等条件下使用重复连接（甚至交叉连接）加上过滤，这种方法会对性能产生显着的负面影响。但是，如果其中一个表足够小，可以容纳在内存中，则可以使用映射连接来补偿对性能的负面影响：

set hive.auto.convert.join=true;
set hive.mapjoin.smalltable.filesize=1000000000; --small table size which can fit in memory, 
                                                 --adjust it and check Map Join operator in the plan

另外（这与问题无关）您的查询中有多余的条件：

(a.item_no=b.item_no and a.item_no is not null and a.item_cd is not null and a.item_no <> '' and a.item_cd <> '')

a.item_no is not null- 这里没有做任何有用的事情，因为 1) 该列已在相等连接条件中使用，并且未连接 NULL，2) 还有另一个条件a.item_no <> ''它排除了 NULL，因为如果值不等于空字符串，它也不能为 NULL，NULL 不能等于或不等于某些东西。

相同的冗余条件a.item_cd is not null因为你已经有了a.item_cd <> ''，这不允许 NULL。

因此，整个条件可以简化为：

(a.item_no=b.item_no and a.item_no <> '' and a.item_cd <> '')

是的，将查询拆分为两个或多个 + UNION 是解决 OR 连接条件问题的常见方法。如果你有一些常用的过滤器，你可以使用WITH子查询来补偿多次扫描整个表。使用不同的过滤器和连接条件 + UNION 或 UNION ALL 拆分数据集也有助于处理倾斜的连接键。如果您使用 Tez，则使用 WITH 子查询将允许读取一次表（在映射器上），并且所有其他顶点将读取映射器准备的相同结果，从而消除每次将中间结果写入持久性存储的情况。