欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动

程序员文章站 2022-03-22 20:18:05
...

【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动

今天下午本来打算用Hadoop跑点数据,但当我打开服务时候,发现resourcemanager服务没启动,这就有点难受了,昨天还好好的。。。。。。。。。。。

【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
那就格式化一下吧,执行下格式化命令:

hdfs namenode -format

然后,嗯。。。。。。。。有点尬
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
datanode也死了。。。。。。。。

算了,还是看日志吧。。。。。。,按日志内容来看,namenode和datanode的clusterID不一致。突然想起来之前格式化了两次namenode,应该是由于namenode多次格式化造成了namenode和datanode的clusterID不一致!每次格式化时,namenode会更新clusterID,但是datanode只会在首次格式化时确定,因此就造成不一致现象。

那么将datanode和namenode中的VERSION 中的clusterID修改一致应该就可以了
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
修改完毕,重启。
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
早知道一开始就看日志了。。。。。。。。
看下resourcemanager的日志报错

2851916:44:58 info http.httpserver2:httpserver.start()引发了非绑定IOException

java.net.bindException:使用中的端口:0.0.0.0:8088

在Org.Apache .Hadoop.http.httpServ2.2.OpenListNevices(httpServ2.2.java:940)

在Org.Apache .Hadoop.http.httpServ2.2启动(httpServ2.2.java:876)

在Org.Apache .Hadoop.Chr.WebApp.WebApppsBuilder。启动(WebApp.java:306)

在Org.Apache .Hadoop.Corn.Server .ReadMeMyAg.ReadMeChanaG.StadWebPAPP(ReadMeReader-java:954)

在Org.Apache .Hadoop.Chans.Serv.ReadMeMaRad.ReadMeChanaServer ServestART(ReadMeMaRada.java:1054)

在Org.Apache .Hadoop.Service .ActudioService .Stad.(ActudioService . Java:193)

在Org.Apache .Hadoop.Corn.Server . ReadMeChanAg.ReadMeChanaGr.MULL(ReadMeChanaGr.java:1188)

原因:java.net.bindException:地址已在使用中:bind

at sun.nio.ch.net.bind0(本机方法)

在Sun.Nio.CH.NET.Band(NET.java:433)

在Sun.Nio.CH.NET.Band(NET.java:425)

在Sun.Nio.C.ServCoCKChhannIMPL.Band(ServOrackChhanelIMPL.java:223)

在Sun.Nio.Ch.ServCotoKistAdvult.Band(ServoCotoAdvistor,Java:74)

在Org.MyBay.JeTy.Nio.ChansChhanelNoels.打开(选择通道连接器. Java:216)

在Org.Apache .Hadoop.http.httpServ2.2.OpenListNevices(httpServ2.2.java:934)

…6更多

2851916:44:58 info service.abstractservice:Service ResourceManager在启动状态下失败;原因:org.apache.hadoop.yarn.webapp.webappexception:启动HTTP服务器时出错

org.apache.hadoop.yarn.webapp.webappexception:启动HTTP服务器时出错

在Org.Apache .Hadoop.Chr.WebApp.WebApppsBuilder。启动(WebApp.java:310)

在Org.Apache .Hadoop.Corn.Server .ReadMeMyAg.ReadMeChanaG.StadWebPAPP(ReadMeReader-java:954)

在Org.Apache .Hadoop.Chans.Serv.ReadMeMaRad.ReadMeChanaServer ServestART(ReadMeMaRada.java:1054)

在Org.Apache .Hadoop.Service .ActudioService .Stad.(ActudioService . Java:193)

在Org.Apache .Hadoop.Corn.Server . ReadMeChanAg.ReadMeChanaGr.MULL(ReadMeChanaGr.java:1188)

原因:java.net.bindException:端口正在使用:0.0.0.0:8088

在Org.Apache .Hadoop.http.httpServ2.2.OpenListNevices(httpServ2.2.java:940)

在Org.Apache .Hadoop.http.httpServ2.2启动(httpServ2.2.java:876)

在Org.Apache .Hadoop.Chr.WebApp.WebApppsBuilder。启动(WebApp.java:306)

…4更多

原因:java.net.bindException:地址已在使用中:bind

at sun.nio.ch.net.bind0(本机方法)

在Sun.Nio.CH.NET.Band(NET.java:433)

在Sun.Nio.CH.NET.Band(NET.java:425)

在Sun.Nio.C.ServCoCKChhannIMPL.Band(ServOrackChhanelIMPL.java:223)

在Sun.Nio.Ch.ServCotoKistAdvult.Band(ServoCotoAdvistor,Java:74)

在Org.MyBay.JeTy.Nio.ChansChhanelNoels.打开(选择通道连接器. Java:216)

在Org.Apache .Hadoop.http.httpServ2.2.OpenListNevices(httpServ2.2.java:934)

…6更多

2851916:44:58信息工控机服务器:在8032上停止服务器

2851916:44:58信息IPC。服务器:停止8032上的IPC服务器侦听器

2851916:44:58信息IPC服务器:停止IPC服务器响应程序

2851916:44:58信息资源管理器。资源管理器:转换到待机状态

2851916:44:58警告amlauncher.applicationmasterlauncher:org.apache.hadoop.yarn.server.resourcemanager.amlauncher.applicationmasterlauncher$launcher线程中断。返回。

2851916:44:58信息工控机服务器:8030停止服务器

2851916:44:58信息IPC。服务器:在8030上停止IPC服务器侦听器

2851916:44:58信息IPC服务器:停止IPC服务器响应程序

2851916:44:58信息工控机服务器:8031停止服务器

2851916:44:58信息IPC。服务器:停止8031上的IPC服务器侦听器

2851916:44:58错误resourcemanager.resourcemanager:返回,中断:java.lang.InterruptedException

2851916:44:58 info util.abstractlivelinessmonitor:nmlivelinessmonitor线程中断

2851916:44:58信息IPC服务器:停止IPC服务器响应程序

2851916:44:58 info event.asyncDispatcher:asyncDispatcher正在排出以停止,i正在运行任何新事件。

2851916:44:58 info util.abstractlivelinessmonitor:amlivelinessmonitor线程中断

2851916:44:58 info util.abstractlivelinessmonitor:amlivelinessmonitor线程中断

2851916:44:58 info util.abstractlivelinessmonitor:org.apache.hadoop.yarn.server.resourcemanager.rmcontainer.containerAllocationExpirer线程中断

2851916:44:58错误委派。AbstractDelegationToKenSecretmanager:ExpiredTokenRemover已接收java.lang.InterruptedException:睡眠中断

2851916:44:58 info impl.metricssysystemimpl:正在停止ResourceManager度量系统…

2851916:44:58 info impl.metricssysystemimpl:resourcemanager metrics system已停止。

2851916:44:58 info impl.metricssysystemimpl:resourcemanager metrics system shutdown complete。

2851916:44:58 info event.asyncDispatcher:asyncDispatcher正在排出以停止,igo

貌似8088端口被占了,看看进程
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动关闭这个进程,ok,终于搞定了,重启服务
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
嗯。。。。。。。。。。。。。。。。。。
查下进程
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
又被占了。。。。。。。
这个QyFragment.exe是什么玩意,百度查了一下,才发现这是个爱奇艺的辅助程序。貌似昨天装了个爱奇艺,嗯。。。。。。。。。。。。。。。控制面板->卸载程序->爱奇艺卸载,还是腾讯视频好。

重启服务,ok,完美,开始干活
【日常踩坑】Windows下Hadoop的resourcemanager服务无法启动
看来以后遇到问题要多看日志(ps:不建议各位以后下载爱奇艺)

相关标签: hadoop