spark yarn-client 提交模式中出现虚拟内存不足的错误

 

 

错误日志是

Diagnostics: Container [pid=6052,containerID=container_1579323722137_0001_02_000001] is running beyond virtual memory limits. Current usage: 42.3 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container

从上面可以看出，问题就是spark 基于yarn-client提交模式中的机子虚拟内存不足了。如果要避免上面的报错可以，配置hadoop中的yarn-site.xml文件，增加

<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

这个配置会跳过跳过参数的检查，所以可以跳过这个错误。

参考自

https://blog.csdn.net/anddyhua/article/details/96645131

https://blog.csdn.net/jerseywwwwei/article/details/101038319