欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hive常用函数总结

程序员文章站 2022-07-14 14:39:16
...

一、hive 函数分类
在hive中函数一般分为三种类型
UDF: 一行数据对应一行数据,在select 的过程中每个函数的属性都不会再分割
UDAF:多行数据对应一行数据,典型的就是聚合函数sum,count,将多个属性值汇聚到一个数据值
UDTF: 一行数据对应多行数据,指在某种特殊情况下,将属性值,再次进行分解,形成了一个属性字段对应多行,explode函数就是典型。
二、UDF函数
1) NVL函数判断传入参数是否为空,有点if else的意思

select nvl(e.no,t.no) from t,e;
//加入要从两个不同的表中选取同一个信息,但是两个表存储的信息可以相同不同,
//也可能会有null的问题,所以用nvl函数,如果e.no为null,返回t.no
//如果e.no不为null,则返回e.no

2)case when then else end
典型的if 语句,可以多级判断多级嵌套

  select sum(case sex when '男' then 1 else 0 end ) boy from student ;//统计班级男女人数
  select sum(if(sex="女",1,0)) from student;
  1. concat
    字符串拼接函数
  concat('sex','=','男')==》 sex="男"//类似与这种拼接
  select concat(from,"==>",to) from 出行表;
   //将出行表中的两个字段连接起来,方便后续使用和分析;

concat 还有一种衍生函数

concat_ws('op',string||array<string>)//若多个连接符相同,可将连接符提到最前,简化操作

4)collect_set 和collect_list
这两种函数的用法更奇妙,可以将一个列中不同行的元素提取到一个数组中(set:去重,list:不会)
select collect_set(name) from student;

select  collect_set(name) from student;//会将该列的信息全部输出;

5)explode
explode 函数和collect_list 函数相反,explode 会将一个数组的数据给拆分成多行

select explode(split(name,',')) from movie;

查询结果
hive常用函数总结
hive常用函数总结
类似与这种效果,每个函数的用法都是根据需求来的,而且这种情况一般都会配合侧写使用 lateral view;