欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

【Spark】error: value foreach is not a member of Object

程序员文章站 2022-07-13 22:18:46
...

spark项目,scala 从2.11 升级到2.12 编译报错:error: value foreach is not a member of Object

 

代码:

df.foreachPartition{iter=>
     iter.foreach{row =>
     }
}

 升级2.12之后,Dataset的foreachPartition 里面不能处理 Row的Iterator;具体原因不太清楚。
解决方法
1、把Dataset转成RDD,在处理; 

df.rdd.foreachPartition{iter=>
iter.foreach{row =>
}
}

2、就是使用 foreach 替代foreachPartition

 

 

相关标签: spark spark