HBase 是一個開源的、分布式的、數(shù)據(jù)多版本的,列式存儲的 nosql數(shù)據(jù)庫。依托 Hadoop 的分布式文件系統(tǒng) HDFS 作為底層存儲, 能夠為數(shù)十億行數(shù)百萬列的海量數(shù)據(jù)表提供隨機、實時的讀寫訪問。 青云提供的 HBase 集群服務(wù)包含:HBase 數(shù)據(jù)庫服務(wù)、HDFS 分布式文件系統(tǒng)、Phoenix 查詢引擎。壓縮格式方面支持 GZIP、BZIP2、LZO、SNAPPY,可自行在應(yīng)用中指定。 關(guān)于 HBase 更多的詳細信息,可參閱
HBase 官方文檔,關(guān)于 Phoenix 查詢引擎的詳細信息,可參閱?
Phoenix 官方網(wǎng)站?。
系統(tǒng)部署架構(gòu)
與 Hadoop 一樣,HBase 集群采用的是 master/slave 架構(gòu),青云提供的 HBase 集群服務(wù)還包括在線伸縮、監(jiān)控告警、配置修改等功能,幫助您更好地管理集群。 如下圖所示,青云的 HBase 集群分三種節(jié)點類型:主節(jié)點 (HBase Master 和 HDFS NameNode),從節(jié)點 (HBase RegionServer 和 HDFS DataNode) 和客戶端節(jié)點 (HBase Client)。 用戶在HBase 客戶端可通過HBase Shell、Java API(本地或MapReduce)、Rest API 或其他工具來訪問HBase。 若需要使用除java外的其他語言時,可在客戶端節(jié)點 (HBase Client)自行啟動 Thrift Server 以供支持。

另外,QingCloud 的 HBase 服務(wù)還提供:
在線伸縮
增加節(jié)點:您可以在 HBase 詳情頁點擊“新增節(jié)點”按鈕增加從節(jié)點,可以對每個新增節(jié)點指定 IP 或選擇自動分配。
刪除節(jié)點:您可以在 HBase 詳情頁選中需要刪除的從節(jié)點,然后點擊“刪除”按鈕,只能一次刪除一個,并且必須等到上個節(jié)點刪除后且 decommission 結(jié)束才能刪除下一個節(jié)點,否則數(shù)據(jù)會丟失。 青云 HBase 集群在此操作時會先遷移 region 再復(fù)制數(shù)據(jù),確保用戶業(yè)務(wù)不受影響。
縱向伸縮:由于不同類節(jié)點壓力并不同,所以青云 HBase 支持對 HBase Master Node 主節(jié)點、HDFS Name Node 主節(jié)點 和 HBase 從節(jié)點分別進行縱向伸縮。
監(jiān)控和告警
我們對 HBase 集群的每個節(jié)點提供了資源的監(jiān)控和告警服務(wù),包括 CPU 使用率、內(nèi)存使用率、硬盤使用率等。 同時,HBase 和 HDFS 提供了豐富的監(jiān)控信息。如果需要通過公網(wǎng)訪問這些信息您需要先申請一個公網(wǎng) IP 綁定在路由器上,在路由器上設(shè)置端口轉(zhuǎn)發(fā),同時打開防火墻相應(yīng)的下行端口。 HBase Master 默認端口16010,HDFS Name Node 默認端口是50070。為方便查看HBase UI,請參考?
VPN 隧道指南?配置VPN,VPN 建立后可查看下述界面。
- http://<HBase Master Node private IP>:16010
- http://<HDFS Name Node private IP>:50070

為了幫助用戶更好的管理和維護 HBase 集群,我們提供了部分針對 HBase 服務(wù)的監(jiān)控,包括:
- 集群Region 遷移監(jiān)控: 集群中 Region 處于遷移狀態(tài)的數(shù)量
- RegionServer 讀、寫QPS監(jiān)控: RegionServer 每秒讀、寫操作數(shù)
- RegionServer BlockCache 命中數(shù)監(jiān)控: RegionServer BlockCache 命中數(shù)
- RegionServer BlockCache 命中率監(jiān)控: RegionServer BlockCache 命中率
- RegionServer 慢操作數(shù)監(jiān)控: RegionSever 慢 Delete,Increment,Get,Append,Put 數(shù)量
- RegionServer CMS GC 時間監(jiān)控: RegionSever CMS GC 消耗 ms 數(shù)
配置
我們通過 HBase 配置組來管理 HBase 服務(wù)的配置。HBase 服務(wù)和 HBase 配置組是解耦的,您可以創(chuàng)建多個獨立的配置組,并應(yīng)用到不同的 HBase 服務(wù)。
測試 HBase 集群
關(guān)于集群服務(wù)的可用性測試請參看
《HBase 使用指南》的
HBase 集群測試部分。