spark在HDFS上保存/读取 map
程序员文章站
2022-06-14 08:05:35
...
保存:
序列化以后保存位ObjectFile
val sc =spark.sparkContext
var EncodeMap = scala.collection.mutable.Map[String,Map[String,Int]]()
sc.parallelize(EncodeMap.toSeq).saveAsObjectFile(feature_map_path)
读取:
先定义Map结构,再以ObjectFile读取
type lookup =(String,Map[String,Int])
val fea_map = sc.objectFile[lookup](feature_map_path)
.collectAsMap()
其他数据结构也可以按照此方式保存和读取