欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

CDH4 Scanner lease expired 错误

程序员文章站 2024-01-19 10:18:22
...

[b][/b]运行基于HBASE的时间较长的M/R任务时,Region Server报错如下:
早上4点01:46.222 INFO org.apache.hadoop.hbase.regionserver.HRegionServer Scanner -1644657804377547036 lease expired
网上有帖子说是因为scanner没有关闭导致(http://grokbase.com/t/cloudera/cdh-user/125xhtpx8v/lease-exception-readandprocess-scanner-lease-expired-errors),在代码中加入关闭,等待结果。

暂时没有起作用。

 

重MAP任务下,4G内存的机器没有运行map/reduce任务,但其Region Server全部死掉,证明两方面问题:

1. map任务占用内存较大

2. hbase占用的内存较大,当设置的heap size(默认为1G)太小时可能导致region server死掉

解决办法只有更换内存更大的机器。CPU性能对集群性能的影响未知。

 

map同时写todo和visited表时32G内存的机器也死了。。。

 

IO的消耗非常之大。

相关标签: hbase cloudera