欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

问题 sparksql Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded

程序员文章站 2022-03-04 13:48:39
...

在/sparkconf/spark-defaults.conf添加配置
增加内存和核数

spark.driver.memory 3g
spark.executor.memory 2g
spark.driver.cores 2
spark.sql.broadcastTimeout=300 # 心跳检测间隔,以防数据量过大,超时报错
相关标签: spark