如何判断HBase Major Compact是否执行完毕

提问

如何判断hbase major compact是否执行完毕？

解答

这里提供两种查看方式： 一种是hbase webui 界面； 另外一种是hbase shell命令行 。 我们下面看一下。

1. hbase webui

点击web首页compactions按钮查看每一个rs compact完成情况； 点击servername进入rs web页后点击compaction metrics可查看该rs上每一个region compact 完成情况。

2. hbase shell

通过shell方式查看同webui查看大同小异，只不过没有将这些指标可视化而已。如果有兴趣，可以自己采集这些指标做一个漂亮的监控界面~

通过命令 status 'simple' 可查看hbase rs级别的一些指标，其中 compactionprogresspct=1.0 即表明rs compact完成。如下：

hbase(main):002:0> status 'simple'
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
        requestspersecond=211.0, 
		numberofonlineregions=293, 
		usedheapmb=4861, 
		maxheapmb=16384, 
		numberofstores=293, 
		numberofstorefiles=432, 
		storefileuncompressedsizemb=97691, 
		storefilesizemb=35689, 
		compressionratio=0.3653, 
		memstoresizemb=891, 
		storefileindexsizemb=0, 
		readrequestscount=738897443, 
		writerequestscount=717989941, 
		rootindexsizekb=5413, 
		totalstaticindexsizekb=149724, 
		totalstaticbloomsizekb=63325, 
		totalcompactingkvs=1389414755, 
		currentcompactedkvs=1389414755, 
		compactionprogresspct=1.0, 
		coprocessors=[hbasesimhashsetbuildsystem, multirowmutationendpoint]
    xxx.xx.xx.xx:6002 1575619966048
        ...

0 dead servers
aggregate load: 962, regions: 1176

通过命令 status 'detailed' 可查看hbase rs region 级别的一些指标，其中 compactionprogresspct=1.0 即表明rs compact完成。如下：

hbase(main):002:0> status 'detailed'
active master:  xxx.xx.xx.xx:6000 1539254611835
1 backup masters
    xxx.xx.xx.xx:6000 1539254627238
4 live servers
    xxx.xx.xx.xx:6002 1575619570126
		"namespace:table,20,1577443984105.518a1fbd9dd64e5956e591fa23556f48."
            numberofstores=1, 
			numberofstorefiles=1, 
			storefileuncompressedsizemb=0, 
			lastmajorcompactiontimestamp=0, 
			storefilesizemb=0, 
			memstoresizemb=0, 
			storefileindexsizemb=0, 
			readrequestscount=0, 
			writerequestscount=0, 
			rootindexsizekb=0, 
			totalstaticindexsizekb=0, 
			totalstaticbloomsizekb=0, 
			totalcompactingkvs=332285, 
			currentcompactedkvs=332285, 
			compactionprogresspct=1.0, 
			completesequenceid=-1, 
			datalocality=1.0
        "namespace:table,1f,1577443984105.61c4ba95dbed1eb52da78c448e2f4bbf."
            ...

0 dead servers

知识点补充

1. 计算公式

在上面的shell命令行输出中我们还看到有两个与compact相关的指标，分别是totalcompactingkvs 与 currentcompactedkvs。其实指标 compactionprogresspct 正是由二者计算得来，如下：

float compactionprogresspct = float.nan;
  if( this.totalcompactingkvs > 0 ) {
    compactionprogresspct = float.valueof(
        this.currentcompactedkvs / this.totalcompactingkvs);
  }

2. 小版本bug

可能有的朋友会发现自己家的 hbase compactionprogresspct 指标出现了大于100% 情况，或是 currentcompactedkvs>totalcompactingkvs 等情况，其实这是hbase小版本出现的一个bug，该bug在 2.0.0-beta 版本中才修复完毕。相关jira 如下：

• hbase-19767
• hbase-15906
• hbase-11979

文章转自：https://www.cnblogs.com/zpb2016/p/12668662.html