Hbase-2.0.0_04_Hbase原理

 

参考博客：hadoop hbase概念学习系列

参考博客：hadoop hbase概念学习系列之hbase里的zookeeper（二十一）

参考博客：hadoop hbase概念学习系列之hbase里的客户端和hbase集群建立连接（详细）（十四）

参考博客：hadoop hbase概念学习系列之meta表和root表（六）

参考博客：hadoop hbase概念学习系列之hbase里的hregion（五）

参考博客：hadoop hbase概念学习系列之hlog（二）

参考博客：hadoop hbase概念学习系列之hregion服务器（三）

参考博客：hadoop hbase概念学习系列之hmaster服务器（四）

参考博客：zookeeper 原理及其在 hadoop 和 hbase 中的应用

参考博客：hbase介绍和工作原理

参考博客：深入了解hbase架构（转）

 

1. 体系结构图

 

1.1. hbase特性：

• 强烈一致的读写:hbase不是“最终一致”的数据存储。这使得它非常适合于高速计数器聚合之类的任务。
• 自动分片:hbase表通过区域分布在集群上，随着数据的增长，区域会自动分割和重新分布。
• regionserver自动故障转移
• hadoop/hdfs集成:hbase支持hdfs开箱即用的分布式文件系统。
• mapreduce: hbase支持通过mapreduce进行大规模并行处理，将hbase用作source和sink。
• java客户端api: hbase支持易于使用的java api进行编程访问。
• thrift/rest api: hbase还支持非java前端的thrift 和rest。
• block cache和bloom filters:hbase支持block缓存和bloom过滤器，用于高容量查询优化。
• 操作管理:hbase提供了内置的web页面，用于操作洞察以及jmx度量

 

 

2. zookeeper在hbase中的应用

hmaster选举与主备切换

       hmaster选举与主备切换的原理和hdfs中namenode及yarn中resourcemanager的ha原理相同。

 

系统容错

       当hbase启动时，每个regionserver都会到zookeeper的/hbase/rs节点下创建一个信息节点（下文中，我们称该节点为”rs状态节点”），例如/hbase/rs/[hostname]，同时，hmaster会对这个节点注册监听。当某个 regionserver 挂掉的时候，zookeeper会因为在一段时间内无法接受其心跳（即 session 失效），而删除掉该 regionserver 服务器对应的 rs 状态节点。与此同时，hmaster 则会接收到 zookeeper 的 nodedelete 通知，从而感知到某个节点断开，并立即开始容错工作。

 

       hbase为什么不直接让hmaster来负责regionserver的监控呢？如果hmaster直接通过心跳机制等来管理regionserver的状态，随着集群越来越大，hmaster的管理负担会越来越重，另外它自身也有挂掉的可能，因此数据还需要持久化。在这种情况下，zookeeper就成了理想的选择。

 

rootregion管理

       对应hbase集群来说，数据存储的位置信息是记录在元数据region，也就是rootregion上的。每次客户端发起新的请求，需要知道数据的位置，就会去查询rootregion，而rootregion自身位置则是记录在zookeeper上的（默认情况下，是记录在zookeeper的/hbase/meta-region-server节点中）。当rootregion发生变化，比如region的手工移动、重新负载均衡或rootregion所在服务器发生了故障等是，就能够通过zookeeper来感知到这一变化并做出一系列相应的容灾措施，从而保证客户端总是能够拿到正确的rootregion信息。

 

region状态管理

       hbase里的region会经常发生变更，这些变更的原因来自于系统故障、负载均衡、配置修改、region分裂与合并等。一旦region发生移动，它就会经历下线（offline）和重新上线（online）的过程。

 

分布式splitwal任务管理

       当某台regionserver服务器挂掉时，由于总有一部分新写入的数据还没有持久化到hfile中，因此在迁移该regionserver的服务时，一个重要的工作就是从wal中恢复这部分还在内存中的数据，而这部分工作最关键的一步就是splitwal，即hmaster需要遍历该regionserver服务器的wal，并按region切分成小块移动到新的地址下，并进行日志的回放（replay）。

 

       由于单个regionserver的日志量相对庞大（可能有上千个region，上gb的日志），而用户又往往希望系统能够快速完成日志的恢复工作。因此一个可行的方案是将这个处理wal的任务分给多台regionserver服务器来共同处理，而这就又需要一个持久化组件来辅助hmaster完成任务的分配。当前的做法是，hmaster会在zookeeper上创建一个splitwal节点（默认情况下，是/hbase/splitwal节点），将“哪个regionserver处理哪个region”这样的信息以列表的形式存放到该节点上，然后由各个regionserver服务器自行到该节点上去领取任务并在任务执行成功或失败后再更新该节点的信息，以通知hmaster继续进行后面的步骤。zookeeper在这里担负起了分布式集群中相互通知和信息持久化的角色。

 

 

3. catalog tables

       目录表hbase:meta以hbase表的形式存在，并从hbase shell的列表命令中过滤出来，但实际上它和其他表一样是一个表。

       hbase:meta表(以前称为.meta.)保存了系统中所有的regions列表，hbase:meta的位置存储在zookeeper中。

 

4. 写流程

1、client向hregionserver发送写请求。

2、hregionserver将数据写到hlog（write ahead log）。为了数据的持久化和恢复。

3、hregionserver将数据写到内存（memstore）

4、反馈client写成功。

 

 

5. 数据flush过程

1、当memstore数据达到阈值（默认是128m），将数据刷到硬盘【数据存储到hdfs中】，将内存中的数据删除，同时删除hlog中的历史数据。

2、在hlog中做标记点。

 

 

6. hbase的读流程

1、通过zookeeper和-root- .meta.表定位hregionserver。

2、数据从内存和硬盘合并后返回给client

3、数据块会缓存

 

 

7. hmaster的职责

1、管理用户对table表的增、删、改、查操作；

2、管理hregion服务器的负载均衡，调整hregion分布；

3、在hregion分裂后，负责新hregion的分配；

4、在hregion服务器停机后，负责失效hregion服务器上的hregion迁移。

 

       master负责监视集群中的所有regionserver实例，是所有元数据更改的接口。在分布式集群中，主机通常在namenode上运行。

       一个常见的列表问题涉及到master宕机时hbase集群发生了什么。因为hbase客户端直接与regionserver通信，所以集群仍然可以在“稳定状态”运行。此外，根据目录表，hbase:meta作为hbase表存在，并不驻留在master中。但是，主服务器控制关键功能，如区regionserver故障转移和完成区域分割。因此，虽然集群在没有master的情况下仍然可以运行很短的时间，但是主服务器应该尽快重启。

 

在分布式集群中，主机通常在namenode上运行。

 

 

8. hregionserver的职责

1、hregion server主要负责响应用户i/o请求，向hdfs文件系统中读写数据，是hbase中最核心的模块。

2、hregion server管理了很多table的分区，也就是region。

 

 

9. client请求

       hbase客户端找到服务于特定行范围的regionservers。它通过查询hbase:meta表来实现这一点。在定位所需的区域之后，客户端联系服务于该region(s)的regionserver，而不是通过master，并发出读或写请求。这些信息缓存在客户端中，以便后续请求不需要经过查找过程。如果某个区域被主负载均衡器重新分配，或者因为某个regionserver已死亡，客户端将重新请求目录表以确定用户region的新位置。