欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop、Spark启动报错Caused by: java.net.BindException: Cannot assign requested

程序员文章站 2024-03-14 10:00:46
...

上一篇笔记记录阿里云上搭建hadoop集群

下一篇笔记记录阿里云上搭建spark集群

先贴一下错误:

Hadoop、Spark启动报错Caused by: java.net.BindException: Cannot assign requested

之前在本机上搭建的时候是没问题的,今天发现在阿里云上的两个服务器之上重新走一遍流程,结果发现namenode节点就是没有启动起来,后来查看log发现之前以为是50077端口被占用了

ss -tanlp|grep 50077

结果查看端口根本就没有被占用,重新查看log发现下面的提示

Caused by: java.net.BindException: Cannot assign requested address

最后查询才发现错误在于

阿里云服务器无法绑定公网IP的地址,即在 /etc/hosts 需要这样设置

内网IP地址  你的hostname
公网IP地址  别的hostname

Hadoop、Spark启动报错Caused by: java.net.BindException: Cannot assign requested也就是在搭建的时候需要将你的

主节点master节点里面的ip写成内网ip

重新启动就ok

Hadoop、Spark启动报错Caused by: java.net.BindException: Cannot assign requested

在work节点中 启动spark的时候会报错:

java.net.BindException: 无法指定被请求的地址: Service 'sparkDriver' failed after 16 retries!

解决方法就是在work节点中 /etc/hosts 也需要这样设置

内网IP地址  当前work节点的hostname
公网IP地址  主节点master的hostname