欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

HBase一次慢查询请求的问题排查与解决过程

程序员文章站 2022-03-31 08:58:31
...

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2013/06/08/hbase-slow-query-troubleshooting.html 最近HBase集群遇到过一次慢查询请求的问题,下面是对这一问题的具体描述

作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息

网址: http://www.cnblogs.com/panfeng412/archive/2013/06/08/hbase-slow-query-troubleshooting.html

最近HBase集群遇到过一次慢查询请求的问题,下面是对这一问题的具体描述及排查解决过程。

1. 发现问题

项目中有一张HBase表,每天凌晨以后会集中批量导入一批数据,导入数据量很大,在千万到亿的量级,然后白天为用户提供查询服务。某天突然发现,该表按照各个region(共计256个)分别仅scan少数几条数据时,部分region的查询请求的响应时间很慢,长达10秒甚至几十秒不等。

2. 排查问题

首先,通过查看HBase自带的region server监控界面上,看到这张表的每个region下面只有1~3个StoreFile,排除了由于StoreFile过多导致查询响应慢的情况。

接着排查,发现这张表的TTL为5天,因此会有大量过期数据存在。同时,由于这张表每天早上会导入一批数据(其中上周3.22那天集中导入了7亿多条记录),而集群的major compact周期配置是7天,虽然到今天为止3.22号的数据已经过期了,但是还没有经过major compact触发清除过期的数据,因此,存在大量过期但尚未被清除的数据,导致即使按照各个region分别仅scan少数几条数据,仍需要过滤掉一大批过期的数据(从监控看到当时的Block Cache访问量比平时高了一倍左右,如下图所示),才能扫到实际有用的数据,所以查询响应时间很慢。

HBase一次慢查询请求的问题排查与解决过程

3. 解决问题

针对这一问题,有以下两种解决方法:

1)每天早上导入数据后,强制触发一次major compact操作(见HBaseAdmin的majorCompct方法,异步执行),使得表中每个region中的过期数据可以被及时清除掉。

2)由于集群的major compact周期为7天,而表的TTL为5天,因此可以将major compact周期调小(配置参数为hbase.hregion.majorcompaction,单位为毫秒;同时,hbase.offpeak.start.hour可以设置major compact启动的小时,例如,设置为1,可保证在1点后触发),从集群级别保证major compact尽早触发执行。

HBase一次慢查询请求的问题排查与解决过程

本文链接

HBase一次慢查询请求的问题排查与解决过程