Hive动态分区
程序员文章站
2022-07-06 10:47:25
...
提高查询和检索的性能
开启支持动态分区
set hive.exec.dynamic.partition=true;
默认:false
set hive.exec.dynamic.partition.mode=nostrict;
默认:strict(至少有一个分区列是静态分区)
相关参数:
set hive.exec.max.dynamic.partitions.pernode;
每一个执行mr节点上,允许创建的动态分区的最大数量(100)
set hive.exec.max.dynamic.partitions;
所有执行mr节点上,允许创建的所有动态分区的最大数量(1000)
set hive.exec.max.created.files;
所有的mr job允许创建的文件的最大数量(100000)
创建动态分区
1、首先创建一个静态分区表
create table psn23(
id int,
name string,
likes array <string>,
address map < string,string >
)
partitioned by(sex string, age int) //定义静态分区表
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':';
2、插入数据的时候 需要 写明 distribute 这个
from psn22
insert overwrite table psn23 partition(age,sex)
select id,name,likes,address,sex,age distribute by age,sex;
上一篇: 大数据:hbase集群搭建