Hive On Tez 进度条不显示问题修复

问题描述

用Hive客户端使用beeline命令执行SQL的时候，有些情况下会显示进度条，有些情况不显示进度条。

显示进度条的情况

1. 设置默认执行引擎为Tez

   <property>
   	<name>hive.execution.engine</name>
   	<value>tez</value>
   </property>
   

2. 使用客户端执行SQL的时候，显示进度条，如下图所示：
   

不显示进度条的情况

1. 设置默认引擎为mr

   <property>
   	<name>hive.execution.engine</name>
   	<value>mr</value>
   </property>
   

2. 通过客户端切换执行引擎为tez

   set hive.execution.engine=tez;
   

3. 切换引擎后执行同一个SQL，不显示进度条

源码分析

BeelineInPlaceUpdateStream.java

1. 通过追踪源码发现，客户端收到TProgressUpdateResp后，会调用BeelineInPlaceUpdateStream的update()方法进行更新任务的执行情况，当客户端显示进度条时update()方法会走下面的分支，即调用InPlaceUpdate的render()方法渲染进度条。
2. 当默认执行引擎为mr，在客户端通过set hive.execution.engine=tez;命令切换为tez后，执行SQL时update()方法走的为上面分支，此时不显示进度条，即TProgressUpdateResp的status为NOT_AVAILABLE时不显示进度条。

ThriftCLIService.java

1. 通过进一步追踪代码发现，TProgressUpdateResp的status是在ThriftCLIService中通过mapper.forStatus(progressUpdate.status)进行设置的，从上图可以看出该mapper的forStatus有三个实现类，在当前问题中我们只需关注TezProgressMonitorStatusMapper和默认实现类即可。

• TezProgressMonitorStatusMapper.java
  
• ProgressMonitorStatusMapper.DEFAULT
  

2. 此时不难看出，当mapper为ProgressMonitorStatusMapper.DEFAULT，也就是为初始值时，response的status永远为NOT_AVAILABLE，即始终不显示进度条。
3. 那么为什么我们已经通过命令设置了执行引擎为tez，"tez".equals(hiveConf.getVar(ConfVars.HIVE_EXECUTION_ENGINE))还是false呢？
4. 进一步追踪发现此处的hiveConf是在HiveServer在启动时从配置文件中读取的，而配置文件中我们设置的默认引擎还是为mr，故此处还是false。
5. 通过对比分析发现在客户端通过命令行修改的执行引擎只是影响了当前Session中的配置，不会影响hiveConf中的配置，因此要想让此处返回true，只需将判断条件改为从session中获取执行引擎即可。
   
6. 通过测试验证，该修改方法可以解决我所遇到的问题。

问题总结反思

1. 回头看最终的修改方法，发现其实改法很简单，难点在于分析源码，梳理出客户端显示进度条的完整调用链，定位出是否显示进度条的判断条件。
2. 对比修改前后的判断条件，判断执行引擎是否为tez，一个是从配置文件获取，一个是从session回话中获取。结合我遇到的问题，Hive作为开源框架这种问题应该时很常见，也是很容易考虑到的。Hive始终从配置文件获取，不知道这是出于某些因素的考虑还是开源的bug，如果有了解的欢迎交流~~😊💪