HBase列族数据库

1. HBase架构设计

HBase 是基于 HDFS 的分布式列族数据库，提供海量数据的随机读写能力。

1.1 核心概念

数据模型：

RowKey    CF1                    CF2
         ┌─────────┬─────────┐  ┌─────────┐
row1     │ col1:t2 │ col2:t1 │  │ col1:t1 │
         │  "val3" │  "val1" │  │  "val2" │
         └─────────┴─────────┘  └─────────┘
row2     ┌─────────┐
         │ col1:t1 │
         │  "val4" │
         └─────────┘

1.2 系统架构

┌──────────────────────────────────────────────────┐
│                    Client                         │
└──────────────┬──────────────────┬────────────────┘
               │                  │
               ▼                  ▼
┌──────────────────────┐  ┌──────────────────────┐
│     HMaster          │  │    ZooKeeper         │
│  表/Region管理       │  │  Master选举          │
│  负载均衡            │  │  Region定位          │
│  元数据维护          │  │  集群状态            │
└──────────────────────┘  └──────────────────────┘
               │
     ┌─────────┼─────────┐
     ▼         ▼         ▼
┌────────┐┌────────┐┌────────┐
│Region  ││Region  ││Region  │
│Server1 ││Server2 ││Server3 │
│┌──────┐││┌──────┐││┌──────┐│
││Region││││Region││││Region││
││ A,B  ││││ C,D  ││││ E,F  ││
│└──────┘││└──────┘││└──────┘│
└────────┘└────────┘└────────┘

1.3 Region管理

Region 是 HBase 分布式和负载均衡的最小单元：

• 每个表初始为一个 Region，随数据增长自动分裂
• Region 分裂阈值：hbase.hregion.max.filesize（默认10GB）
• 分裂过程：先下线再分裂再上线

$\text{Region数量} \approx \frac{\text{表数据量}}{\text{Region大小}}$

Region 定位流程：

Client → ZooKeeper → hbase:meta表 → RegionServer → Region

2. RowKey设计

RowKey 设计是 HBase 性能的决定性因素，直接影响数据分布和查询效率。

2.1 设计原则

2.2 热点问题与解决方案

问题：顺序写入导致所有请求集中在一个Region

RowKey: user1 → Region A  ← 所有写入
RowKey: user2 → Region A  ← 所有写入
RowKey: user3 → Region A  ← 所有写入

解决方案：

1. 加盐（Salting）：在RowKey前添加随机前缀

原始: user1, user2, user3
加盐: a-user1, b-user2, c-user3  → 分散到不同Region

2. 哈希（Hashing）：对RowKey取哈希

$\text{RowKey} = \text{MD5}(\text{userId})[:8] + \text{userId}$

3. 反转（Reversing）：反转RowKey字符串

原始: 20240101-user1 → 集中写入
反转: 1resu-10104202 → 分散写入

2.3 常见设计模式

3. 读写流程

3.1 写入流程

Client → WAL → MemStore → HFile
         │         │          │
         │         │          └── Flush（内存→磁盘）
         │         └── 写入内存（有序）
         └── 预写日志（故障恢复）

详细步骤：

1. 客户端定位目标 RegionServer
2. 写入 WAL（Write-Ahead Log）：确保数据不丢失
3. 写入 MemStore：内存中的有序数据结构
4. 返回客户端写入成功
5. MemStore 达到阈值（128MB）时 Flush 为 HFile
6. HFile 增多时触发 Minor Compaction（合并小文件）
7. 定期触发 Major Compaction（合并所有HFile，清理删除标记）

3.2 读取流程

Client → BlockCache → MemStore → HFile
           │              │          │
           │              │          └── Bloom Filter快速判断
           │              └── 读内存
           └── 读缓存（LRU）

读取优化：

1. BlockCache：LRU缓存，缓存热点数据块（默认64KB）
2. Bloom Filter：快速判断RowKey/Column是否在HFile中
3. TimeRange：利用时间戳过滤HFile

3.3 LSM-Tree模型

HBase 基于 LSM-Tree（Log-Structured Merge-Tree）：

写入: MemStore(C0) → Flush → HFile(C1) → Compaction → HFile(C2)
                    内存       磁盘Level1           磁盘Level2

• 写入性能：$O(1)$（只写内存）
• 读取性能：$O(\text{Level数})$（需合并多层数据）
• 空间放大：通过Compaction回收

4. HBase性能优化

4.1 关键配置

4.2 优化策略

1. 预分区：建表时指定Region分裂点，避免初始热点
2. Bloom Filter：ROW或ROWCOL级别，减少无效磁盘读取
3. 列族数量：不超过3个，每个列族独立Store和Flush
4. Compaction策略：FIFO / Exploring / Stripe / Date Tiered
5. Region大小：根据读写模式调整，过大导致Compaction压力大
6. GC优化：使用G1GC，减少GC停顿