SparkSQL HiveSQL 常用正则表达式
目录
SparkSQL HiveSQL 常用正则表达式
1、匹配汉字：
2、匹配手机号码
3、匹配身份证：
4、SparkSQL HiveSQL 常用正则函数：
5、SparkSQL 分组 聚合 函数：
6、SparkSQL 随机数：
7、SparkSQL 逻辑运算符
8、SparkSQL REGEXP_SUBSTR 函数格式如下：
9、regexp_replace(1,2,3,4,5,6)
1、匹配汉字：
正则表达式：regexp '^[\\u4e00-\\u9fa5]'; --开头是汉字
正则表达式：regexp '[^\\u4e00-\\u9fa5]+'; --不包含汉字
正则表达式：regexp '[\\u4e00-\\u9fa5]'; --含有汉字
2、匹配手机号码
正则表达式：regexp ‘^1([3578][0-9]|4[579]|66|7[0135678]|9[89])[0-9]{8}$’
3、匹配身份证：
正则表达式:
十八位: '^[1-9]\d{5}(18|19|([23]\d))\d{2}((0[1-9])|(10|11|12))(([0-2][1-9])|10|20|30|31)\d{3}[0-9Xx]$'
十五位: ' ^[1-9]\d{5}\d{2}((0[1-9])|(10|11|12))(([0-2][1-9])|10|20|30|31)\d{2}$'
4、SparkSQL HiveSQL 常用正则函数：
regexp_extract 正则提取某些字符串,
regexp_replace 正则替换
5、SparkSQL 分组 聚合 函数：
select name, collect_set(course) as course_set from T_course group by name
select col1,col2,concat_ws( ' , ' , collect_set ( col3 ) ) from tablename group by col1 , col2;
6、SparkSQL 随机数：
SELECT md5(RAND() + new.id);
-- 生成 3 位的随机数
SELECT CEILING(RAND()*900+100);
-- 生成 4 位的随机数
SELECT CEILING(RAND()*9000+1000);
-- 生成 5 位的随机数
SELECT CEILING(RAND()*90000+10000);
7、SparkSQL 逻辑运算符
非（NOT 或 !）：
mysql> SELECT NOT 0,NOT 1,NOT NULL;
mysql> SELECT !0, !1, !NULL;
与（AND 或 &&）：
mysql> SELECT (1 AND 1), (0 AND 1), (3 AND 1), (1 AND NULL);
mysql> SELECT (1 && 1), (0 && 1), (3 && 1), (1 && NULL);
或（OR或 ||）：
mysql> SELECT (1 OR 0), (0 OR 0), (1 OR NULL), (1 OR 1), (NULL OR NULL);
mysql> SELECT (1 || 0), (0 || 0), (1 || NULL), (1 || 1), (NULL || NULL);
异或（XOR 或 ^）：
mysql> SELECT (1 XOR 1), (0 XOR 0), (1 XOR 0), (0 XOR 1), (NULL XOR 1);
mysql> SELECT (1 ^ 1), (0 ^ 0), (1 ^ 0), (0 ^ 1), (NULL ^ 1);
8、SparkSQL REGEXP_SUBSTR 函数格式如下：
function REGEXP_SUBSTR(String, pattern, position, occurrence, modifier)
__srcstr ：需要进行正则处理的字符串
__pattern ：进行匹配的正则表达式
__position ：起始位置，从第几个字符开始正则表达式匹配（默认为1）
__occurrence ：标识第几个匹配组，默认为1
__modifier ：模式（'i'不区分大小写进行检索；'c'区分大小写进行检索。默认为'c'。
9、regexp_replace(1,2,3,4,5,6)
语法说明：
1：字段String
2：替换的字段 正则表达式
3：替换成什么
4：起始位置（默认从1开始）
5：替换的次数（0是无限次）
6：不区分大小写 i：大小写不敏感；c：大小写敏感；n：点号 . 不匹配换行符号；m：多行模式；x：扩展模式，忽略正则表达式中的空白字符。
