Hive的分桶表和分区表
程序员文章站
2022-03-09 21:19:09
定义:分区表:根据某一个字段的值,将表数据分到不同的文件夹分桶表:根据某一个字段的hashcode,将表数据分到多个文件中。区别分区针对的是数据的存储路径,分桶针对的是数据文件。分区提供一个隔离数据和优化查询的便利方式。分桶是将数据集分解成更容易管理的若*分的另一个技术。为什么要分桶?1,更快,桶为表加上额外结构,链接相同列划分了桶的表,可以使用map-side join更加高效。2,取样sampling更高效。没有分区的话需要扫描整个数据集。......
定义:
分区表:根据某一个字段的值,将表数据分到不同的文件夹
分桶表:根据某一个字段的hashcode,将表数据分到多个文件中。
区别
分区针对的是数据的存储路径,分桶针对的是数据文件。
分区提供一个隔离数据和优化查询的便利方式。
分桶是将数据集分解成更容易管理的若*分的另一个技术。
为什么要分桶?
1,更快,桶为表加上额外结构,链接相同列划分了桶的表,可以使用map-side join更加高效。
2,取样sampling更高效。没有分区的话需要扫描整个数据集。
本文地址:https://blog.csdn.net/weixin_43648241/article/details/108997580
上一篇: 笔记本电脑电池应该怎样校准