大数据学习之Hive——05Hive函数

一.内置函数

1. 数学函数

• 部分代码示例

   select round(3.1415);
   select round(3.1415, 2);
   select floor(3.1415);
   select ceil(3.1415);
   select rand();
   select rand(4);
   select exp(2);
   select pi();
   select e();
   select sin(pi()/2);
   select factorial(5);
   select greatest(3, 4, 5, 6);
   select least(3, 4, 5, 6);
  

2. 集合函数

• 部分代码示例

  # 奇数位置表示key, 偶数位置表示value
  select size(map(1,2,3,4));
  select map_keys(map(1,2,3,4));
  select map_values(map(1,2,3,4));
  

  

  # 查询数组长度
  select size(Array(1,3,4,2))
  # 判断元素是否在数组中
  select array_contains(Array(1,3,4,2), 4);
  select array_contains(Array(1,3,4,2), 6);
  # 对数组进行自然排序
  select sort_array(Array(1,3,4,2));
  

  

3. 类型转换函数

4. 日期函数

• 部分代码示例

  select from_unixtime(1734567654, 'yyyy/mm/dd');
  select unix_timestamp();
  select unix_timestamp("2020-4-26 12:32:17");
  select unix_timestamp("2020/04/26 12:32:17", "yyyy/MM/dd hh:mm:ss");
  select to_date("2020-04-26 12:32:17");
  select year("2012-12-21");
  select month("2012-12-21");
  select day("2012-12-21");
  select hour("12:3:21");
  select minute("12:32:34");
  select second("12:32:34");
  select weekofyear("2012-12-21");
  select datediff("2020-04-26", "1996-03-10");
  select date_add("2020-04-26", 5);
  select date_sub("2020-04-26", 5);
  select current_date();
  select current_timestamp();
  select add_months("2020-04-26", 3);
  select last_day("2020-04-26");
  

5. 条件函数

6. 字符函数

7. 聚合函数

• 部分函数示例:

  select count(*) from student;
  select sum(age) from student;
  select avg(age) from student;
  select max(age) from student;
  select min(age) from student;
  

8. 表生成函数

二. 自定义函数

UDF（user-defined function）作用于单个数据行，产生一个数据行作为输出。（数学函数，字 符串函数）
UDAF（用户定义聚集函数 User- Defined Aggregation Funcation）：接收多个输入数据行，并产 生一个输出数据行。（count，max）
UDTF（表格生成函数 User-Defined Table Functions）：接收一行输入，输出多行（explode）

1. 简单UDF示例

1. 导入hive需要的jar包，自定义一个java类继承UDF，重载 evaluate 方法

   import org.apache.hadoop.hive.ql.exec.UDF;
   public class ToLowerCase extends UDF{
       // 必须是 public，并且 evaluate 方法可以重载
       public String evaluate(String field) {
           String result = field.toLowerCase();
           return result;
       }   
   }
   

2. 打成 jar 包上传到服务器

3. 将 jar 包添加到 hive 的 classpath

   add JAR 路径/***.jar;
   

4. 创建临时函数与开发好的 class 关联起来

   create temporary function tolowercase as 'com.study.hive.udf.ToLowerCase';
   

5. 至此，便可以在 Hive SQL使用自定义的函数

   select tolowercase('HELLO');
   

2. JSON数据解析UDF开发

1. get_json_object(string json_string, string path)
   解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。 这个函数每次只能返回一个数据项。

2. json_tuple(jsonStr, k1, k2, …)
   参数为一组键k1，k2……和JSON字符串，返回值的元组。该方法比 get_json_object 高效，因为可以在一次调用中输入多个键