如何判断HBase Major Compact是否执行完毕
提问
如何判断hbase major compact是否执行完毕?
解答
这里提供两种查看方式: 一种是hbase webui 界面; 另外一种是hbase shell命令行 。 我们下面看一下。
1. hbase webui
点击web首页compactions按钮查看每一个rs compact完成情况; 点击servername进入rs web页后点击compaction metrics可查看该rs上每一个region compact 完成情况。
2. hbase shell
通过shell方式查看同webui查看大同小异,只不过没有将这些指标可视化而已。如果有兴趣,可以自己采集这些指标做一个漂亮的监控界面~
通过命令 status 'simple' 可查看hbase rs级别的一些指标,其中 compactionprogresspct=1.0 即表明rs compact完成。如下:
hbase(main):002:0> status 'simple' active master: xxx.xx.xx.xx:6000 1539254611835 1 backup masters xxx.xx.xx.xx:6000 1539254627238 4 live servers xxx.xx.xx.xx:6002 1575619570126 requestspersecond=211.0, numberofonlineregions=293, usedheapmb=4861, maxheapmb=16384, numberofstores=293, numberofstorefiles=432, storefileuncompressedsizemb=97691, storefilesizemb=35689, compressionratio=0.3653, memstoresizemb=891, storefileindexsizemb=0, readrequestscount=738897443, writerequestscount=717989941, rootindexsizekb=5413, totalstaticindexsizekb=149724, totalstaticbloomsizekb=63325, totalcompactingkvs=1389414755, currentcompactedkvs=1389414755, compactionprogresspct=1.0, coprocessors=[hbasesimhashsetbuildsystem, multirowmutationendpoint] xxx.xx.xx.xx:6002 1575619966048 ... 0 dead servers aggregate load: 962, regions: 1176
通过命令 status 'detailed' 可查看hbase rs region 级别的一些指标,其中 compactionprogresspct=1.0 即表明rs compact完成。如下:
hbase(main):002:0> status 'detailed' active master: xxx.xx.xx.xx:6000 1539254611835 1 backup masters xxx.xx.xx.xx:6000 1539254627238 4 live servers xxx.xx.xx.xx:6002 1575619570126 "namespace:table,20,1577443984105.518a1fbd9dd64e5956e591fa23556f48." numberofstores=1, numberofstorefiles=1, storefileuncompressedsizemb=0, lastmajorcompactiontimestamp=0, storefilesizemb=0, memstoresizemb=0, storefileindexsizemb=0, readrequestscount=0, writerequestscount=0, rootindexsizekb=0, totalstaticindexsizekb=0, totalstaticbloomsizekb=0, totalcompactingkvs=332285, currentcompactedkvs=332285, compactionprogresspct=1.0, completesequenceid=-1, datalocality=1.0 "namespace:table,1f,1577443984105.61c4ba95dbed1eb52da78c448e2f4bbf." ... 0 dead servers
知识点补充
1. 计算公式
在上面的shell命令行输出中我们还看到有两个与compact相关的指标,分别是totalcompactingkvs 与 currentcompactedkvs。其实指标 compactionprogresspct 正是由二者计算得来,如下:
float compactionprogresspct = float.nan; if( this.totalcompactingkvs > 0 ) { compactionprogresspct = float.valueof( this.currentcompactedkvs / this.totalcompactingkvs); }
2. 小版本bug
可能有的朋友会发现自己家的 hbase compactionprogresspct 指标出现了大于100% 情况,或是 currentcompactedkvs>totalcompactingkvs 等情况,其实这是hbase小版本出现的一个bug,该bug在 2.0.0-beta 版本中才修复完毕。相关jira 如下:
- hbase-19767
- hbase-15906
- hbase-11979
文章转自:https://www.cnblogs.com/zpb2016/p/12668662.html