spark - 分区自动探测 博客分类： spark spark 分区探测

spark支持分区的自动探测

例如：目录如下：

 

df读取的时候，分别传不同的路径进去，schema是不一样的，通过下图可以看到，spark可以探测到当前路径下的分区

 

可以控制这个参数，决定是否开启自动类型推测（控制的是类型推测，如果设为false，都是分区字段string类型）

spark.sql.sources.partitionColumnTypeInference.enabled

 

 

测试代码：

 

 

分区类型推测的源码位置：