HBase基础架构及存储原理_数据库技术

一、HBase介绍

HBase是Hadoop生态系统中的一个分布式、面向列的开源数据库，具有高可伸缩性、高性能和强大的数据处理能力。广泛应用于处理大规模数据集。

HBase是一种稀疏的、分布式、持久的多维排序map

稀疏：对比关系型数据库和非关系型数据库，关系型数据库是以表格的形式进行存储，对存储的要求较高，每一行每一列都需要预留对应的存储空间，这就会造成存储空间的浪费。

分布式：海量数据保存在多台机器上。

持久化：将内存中的对象存储在数据库中，或者存储在磁盘文件中。

多维：noSQL数据库的本质是KV结构。像hashMap就是一种单维的kv结构，存储的数据不够全面、较为单一。

排序：无序的数据当想要查找的时候，需要遍历全表。而排序的表可以按照一些算法进行查找

map：由行键、列键和时间戳作为key，value是一个未解释的字节数组（未解释：经过序列化或没有经过UTF-8编码。这么做能够节省存储空间）

二、HBase逻辑结构

1. 基础模型

一个Hbase表的逻辑结构是这样的：

HBase基础架构及存储原理

名词解释：

Column Family（列族）：HBase中的每个列都归属于某个列族，列族不能改变，一行可有多个列族，一个列族可有任意个列；
Column（列）：类似于关系型数据库中的列名。一般都是从属于某个列族，跟列族不一样，这些列都可以动态添加；
RowKey（行键）：行键是HBase记录条目的主键，物理存储时会按照RowKey的字典序排序存储，HBase基于RowKey实现索引。

存储特点：

Key-Value（键值对）：每一列存储的是一个键值对，Key是列名，Value是列值。通过{行键，列族名，列名}可以唯一确定一个列单元并获取数据Value，和关系型数据库不同的是，HBase中的数据是没有类型的，都是以bytes形式存储；
Byte（数据类型）：数据在HBase中以Byte存储，实际的数据类型交由用户转换；
多维：通过行、列能维持一个复杂的结构；
数据存储整体有序：按照rowkey的字典序排列，rowkey为byte数组；
稀疏矩阵：行与行之间的列数可以不同，但只有实际的列才会占用存储空间；
Version（多版本）：每一列都可配置相应的版本数量，获取指定版本的数据（默认返回最新版本）

2. 模型拆分

HBase基础架构及存储原理

一个表示数十亿行、数百万列，如果不进行拆分无法对其进行存储。

首先横向以行为单位进行拆分。因为在数据表格使用时往往以行为单位，在写入时往往一次写入一行的数据。拆分完就把表格拆分出一个结构：Region。Region在拆分完之后会有对应的rowkey范围，每个Region的rowkey范围不一样，互相不交叉。用于实现分布式结构，拆分完之后可以放到不同的节点上。
然后以列族为单位竖向切分。由于存在数百万列，不进行拆分数据量太大。切分出来的单位成为store。竖向切分为store，用于底层存储到不同的文件夹中，便于文件存储。
切分region：放到不同的节点；切分store：拆分文件夹

三、HBase 物理存储结构

物理存储结构即为数据映射关系。概念图中的空单元格底层并不存储。 HBase基础架构及存储原理

在上面图示中，拆分到最后一个存储单元是一个store。以一个store为例，value是实际存储的数值，也就是“张三”。

Key由行号①rowkey、②列号（包括列族、列限定符）、③时间戳（用于标记版本）、④type（当前标记，如put、delete）组成。

解释：

修改：由于HBase是以HDFS为存储基础的数据库，而HDFS在对文件存储时只能新增、删除、不能修改，所以HBase不能修改数据。为了实现修改数据的功能，HBase通过时间戳来实现版本的标记。读取数据的时候有两个时间版本，新的版本会覆盖旧的版本，就会被认为数据已经修改。

删除：与修改类似，为了实现对数据的删除，HBase通过对时间戳标记，实现对数据的删除。

1. 数据模型

NameSpace（命名空间）：与database概念类似。每个命名空间下有多个表；
Table（表）：类似于关系型数据库中表的概念。但Hbase定义表时只需要声明列族，不需要声明具体的列；
Row：每行数据由一个Rowkey和多个Column（列）组成；
Column：每个列由Column Family（列族）和Column Qualifier（列限定符）进行限定。建表时只需要声明列族，列限定符无需预先定义；
Time Stamp：用于标识数据的不同版本（version），数据写入时会自动加上该字段，其值为写入HBase的时间；
Cell：由 {rowkey, column Family:column Qualifier, time Stamp} 唯一确定的单元。cell 中的数据是没有类型的，全部是字节码形式存贮。底层存储的一行数据为一个cell。（一个版本对应一个cel）

四、HBase架构

HBase基础架构及存储原理

1. 主架构

client：当一个Client需要访问HBase集群时，Client需要先和Zookeeper来通信，获取路由表hbase-meta的存放地址。通过这个存放地址可以获得hbase:meta文件来找到的Client所需要的Region和对应的Region Server的地址，进行DML操作。
zookeeper：HMaster通过zookeeper实现分布式的管理。
HMaster / Backup-Master：HMaster 是 HBase 集群的主节点，负责管理整个集群的元数据（如表和列族信息）、调度和协调工作，以及处理管理操作。HMaster 负责分配和管理 RegionServer，负责 Region 的负载均衡、故障恢复和自动切分。在 HBase 中，每个集群通常只有一个 HMaster节点，在故障发生时可以通过自动故障转移来切换到另一台 HMaster。
HRegionServe：HRegionServer 是 HBase 集群中的工作节点，负责存储和处理数据。RegionServer将进程信息注册到zookeeper中，master读取zk中注册的信息，从而实现管理。每个 RegionServer 管理多个 HBase 表的 Region，每个 Region 负责存储表的一部分数据。HRegionServer 处理来自客户端的读写请求，并将数据存储到 HDFS 上。它还负责处理 Region的分裂、合并、迁移等操作，以及处理数据的压缩、缓存和预取。
HDFS：用于实际存储数据。

2. 其他组成部分

HBase基础架构及存储原理

HLog：负责记录着数据的操作日志，当HBase出现故障时可以进行日志重放、故障恢复。例如，磁盘掉电导致 MemStore中的数据没有持久化存储到 StoreFile，这时就可以通过HLog日志重放来恢复数据。
HRegion：将表切分成多个region。
Store：一个 Region 由多个 Store 组成，每个 Store 都对应一个 Column Family, Store 包含 MemStore 和 StoreFile。

MemStore：内存数据存储，数据的写操作会先写到 MemStore 中，当MemStore 中的数据增长到一个阈值（默认64M）后，Region Server 会启动 flasheatch 进程将 MemStore 中的数据写人 StoreFile 持久化存储，每次写入后都形成一个单独的 StoreFile。
StoreFile：MemStore 内存中的数据写到文件后就是StoreFile，StoreFile底层是以 HFile 的格式保存。HBase以Store的大小来判断是否需要切分Region。

HFile / StoreFile：HFile 和 StoreFile 是同一个文件，只不过站在 HDFS 的角度称这个文件为HFile，站在HBase的角度就称这个文件为StoreFile。

HBase将表格的数据存储到HDFS上，按照 namespace -> table -> region -> store 的格式划分文件夹存储。在store内部存储HFile，内部为对应的cell。

四、HBase原理

写入过程

当数据写入HBase时，首先会根据表的设计将数据写入对应的Region。每个Region维护一个HLog和MemStore。数据首先被追加到HLog中，以提供数据的持久性和故障恢复。然后数据被写入内存的MemStore中，当MemStore积累到一定的大小后，将其刷新到磁盘上的HFile中。同时，HBase还会对数据进行压缩和写缓存等优化操作。

可以参考->HBase有写入数据，页面端显示无数据量_five小点心的博客-CSDN博客