hive常用函数总结
程序员文章站
2022-07-14 14:39:16
...
一、hive 函数分类
在hive中函数一般分为三种类型
UDF: 一行数据对应一行数据,在select 的过程中每个函数的属性都不会再分割
UDAF:多行数据对应一行数据,典型的就是聚合函数sum,count,将多个属性值汇聚到一个数据值
UDTF: 一行数据对应多行数据,指在某种特殊情况下,将属性值,再次进行分解,形成了一个属性字段对应多行,explode函数就是典型。
二、UDF函数
1) NVL函数判断传入参数是否为空,有点if else的意思
select nvl(e.no,t.no) from t,e;
//加入要从两个不同的表中选取同一个信息,但是两个表存储的信息可以相同不同,
//也可能会有null的问题,所以用nvl函数,如果e.no为null,返回t.no
//如果e.no不为null,则返回e.no
2)case when then else end
典型的if 语句,可以多级判断多级嵌套
select sum(case sex when '男' then 1 else 0 end ) boy from student ;//统计班级男女人数
select sum(if(sex="女",1,0)) from student;
- concat
字符串拼接函数
concat('sex','=','男')==》 sex="男"//类似与这种拼接
select concat(from,"==>",to) from 出行表;
//将出行表中的两个字段连接起来,方便后续使用和分析;
concat 还有一种衍生函数
concat_ws('op',string||array<string>)//若多个连接符相同,可将连接符提到最前,简化操作
4)collect_set 和collect_list
这两种函数的用法更奇妙,可以将一个列中不同行的元素提取到一个数组中(set:去重,list:不会)
select collect_set(name) from student;
select collect_set(name) from student;//会将该列的信息全部输出;
5)explode
explode 函数和collect_list 函数相反,explode 会将一个数组的数据给拆分成多行
select explode(split(name,',')) from movie;
查询结果
类似与这种效果,每个函数的用法都是根据需求来的,而且这种情况一般都会配合侧写使用 lateral view;
上一篇: Hive添加或删除字段
下一篇: hive md5 udf