hive 文件分割的一些经验

最近在工作中用到了hive，因数据量大，需要将hive的文件进行分割:

 

hive的分割方式一，用tasks进行分割：

execute immediate 'set mapred.reduce.tasks=5'

这种分割方式有时会失效，可用下面的分割方式，

 

hive的分割方式二：

 execute immediate 'set hive.merge.size.per.task=1283457024';

 execute immediate 'set hive.merge.smallfiles.avgsize=1283457024';