UDAF
继承UDAF
内部定义一个静态类，实现UDAFEvaluator接口
实现init，iterate，terminatePartial,merge,terminate五个方法
编写代码完成后install打包
Rz -bye 上传到本地
Hdfs dfs -put -f **** * /**/**
上传到hdfs
Add jar hdfs:// jar包所在路径
Create temporary function 函数名称 as ‘主类路径’
Hive sql中调用udaf函数
注意 缓存问题，可先退出再重新执行或更改jar包名称
UDTF
解决一行输入多行输出，即1:n，即行转列应用
往往被lateral view explode+udf等替代实现，比直接用udtf会更简单、直接、更灵活一些
关于MapJoin的问题剖析
概念说明
将join的本来应该是reduce进行关联查找的过程，改成由纯map端进行关联查找。
特点特征
减少了reduce的处理，全部放到map端进行操作。
减少了数据移动，提升了IO和计算效率。
应用场景
大表join小表的时候，
大数据块join小数据块的时候。
代码实现
在hive当中已经默认开启了该功能。
关于数据倾斜的问题剖析
概念说明
在大数据处理环境下，数据处理过程出现明显的倾斜现象，导致任务整体迟迟不能完全结束。
特点特征
在作业或是任务在分布式执行时，经常出现大部分Task任务很快结速，而很少一部分Task，往往是1个或是1-2个一直卡在99%的情况下。
典型的木桶原理，任务的执行完成时间，取决于最后一个Task的完成时间。
应用场景
假倾斜场景
实际数据并没有倾斜，而是由于人为代码原因导致的倾斜。
比如：
数据格式设置不对，导致没有发挥分布式处理的优势
：比如说设置成gzip,snappy。
SQL编写不合理-计算用户uv数
如：select count(distinct uid) from user;
改成：
select count(1) from (select 1 from user group by uid) temp;
代码优化就可以了
真倾斜场景
即数据或是任务本身真的存在客观的倾斜性
比如：VIP会员数据的倒卖倒买问题，导致极少数VIP帐号对应的数据量极多，而正常帐号较少。
解决方法：只能分而治之，将倾斜的数据分类，将正常数据分类，然后进行分别计算。
比如：硬件机器本身配置不均衡导致的计算能力倾斜问题。
解决方法：
第1种是硬性解决即让硬件更加均衡。
第2种是通过NodeLabel方式。
代码实现
参考如上的解决方法即可。
关于二次排序的问题剖析
概念说明
在map到reduce的处理过程当中，按照2个字段进行升序排列，而不是像默认的一次排序那样，只按照key一个字段排序。
特点特征
2个字段排序，第1个字段若有比较结果则按第1个字段排序，若相等，则按第2个字段升序排列。
应用场景
当单个字段不能够满足排序要求时，均可使用二次排序。
