欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

spark在HDFS上保存/读取 map

程序员文章站 2022-06-14 08:05:35
...

保存:
序列化以后保存位ObjectFile

val sc =spark.sparkContext
var EncodeMap = scala.collection.mutable.Map[String,Map[String,Int]]()
sc.parallelize(EncodeMap.toSeq).saveAsObjectFile(feature_map_path)

读取:
先定义Map结构,再以ObjectFile读取

 type lookup =(String,Map[String,Int])
 val fea_map = sc.objectFile[lookup](feature_map_path)
      .collectAsMap()

其他数据结构也可以按照此方式保存和读取

相关标签: spark