Storm 是一個開源的分布式實時計算系統(tǒng)，通常被比作＂實時的 Hadoop＂。Storm 為實時計算提供了一些簡單優(yōu)美的原語，支持多種編程語言，并內(nèi)建流式窗口 API 及分布式緩存 API，極大簡化了流式數(shù)據(jù)處理過程。Storm 不僅高可靠、易擴(kuò)展，而且處理速度極快，每個計算節(jié)點每秒能處理上百萬條元組信息（Tuple），因此常被用于實時分析、在線機(jī)器學(xué)習(xí)、連續(xù)計算、分布式 RPC、ETL 等。 關(guān)于 Storm 更多的詳細(xì)信息，請參閱?
Storm 官方網(wǎng)站?。
青云的 Storm 集群包括如下五種節(jié)點類型：
- 主節(jié)點：運(yùn)行了 Nimbus、DRPC、UI 和 Logviewer 服務(wù)，負(fù)責(zé)接收客戶端提交的計算拓?fù)洌f(xié)調(diào)分派計算任務(wù)。
- 從節(jié)點：運(yùn)行了 Supervisor 和 Logviewer 服務(wù)。其中，Supervisor 服務(wù)主要用于接收計算任務(wù)并按需啟動或停止工作進(jìn)程（Worker），而 Logviewer 服務(wù)方便用戶查看運(yùn)行日志。
- RPC 節(jié)點：運(yùn)行了 DRPC 和 Logviewer 服務(wù)，用于接收 RPC 請求，并將計算拓?fù)涞奶幚斫Y(jié)果返回給客戶端。
- 客戶端節(jié)點：安裝了 Python、JRE/JDK 和 Storm 軟件，用于提交計算拓?fù)洹?/li>
- Zookeeper 集群：用于協(xié)調(diào) Storm 集群。
另外，青云的 Storm 服務(wù)還提供了在線伸縮和監(jiān)控告警功能：
在線伸縮
增加節(jié)點：當(dāng)您需要橫向擴(kuò)展集群規(guī)模時，您可以在 Storm 詳細(xì)頁點擊“新增節(jié)點”按鈕增加主節(jié)點、從節(jié)點或 RPC 節(jié)點，每個新增節(jié)點在私有網(wǎng)絡(luò)中的 IP 可以手動指定或選擇自動分配。
刪除節(jié)點：當(dāng)您不需要集群中的某些節(jié)點時，您可以在 Storm 詳細(xì)頁選中需要刪除的節(jié)點，然后點“刪除”按鈕，以在線縮減集群規(guī)模。
縱向伸縮：由于不同類節(jié)點壓力并不同，所以青云 Storm 支持對 主節(jié)點、從節(jié)點 和 RPC 節(jié)點分別進(jìn)行縱向伸縮。通常情況下主節(jié)點和 RPC 節(jié)點的壓力都不會太大，運(yùn)行 worker 進(jìn)程的從節(jié)點的配置一般更高些。
監(jiān)控和告警
我們對 Storm 集群的每個節(jié)點提供了資源的監(jiān)控和告警服務(wù)，包括 CPU 使用率、內(nèi)存使用率、硬盤使用率等，以幫助用戶更好的管理和維護(hù) Storm 集群。 同時，Storm 主節(jié)點上運(yùn)行的 Storm UI 服務(wù)提供了豐富的集群監(jiān)控信息，默認(rèn)端口為8080。 此外，青云提供的 Storm 集群還在各個節(jié)點上運(yùn)行了 Logviewer 服務(wù)，該服務(wù)允許用戶訪問各個節(jié)點上的日志。撥入到 VPN 網(wǎng)絡(luò)后，可以訪問以下 URL 來瀏覽 Storm UI 及節(jié)點日志：
- http://<Storm 主節(jié)點私有網(wǎng)絡(luò) IP>:8080
- http://<Storm 任意節(jié)點私有網(wǎng)絡(luò) IP>:8080/daemonlog?file=<log file name>
例如：
配置
我們通過 Storm 配置組來管理 Storm 服務(wù)的配置。Storm 服務(wù)和 Storm 配置組是解耦的，您可以創(chuàng)建多個獨立的配置組，并應(yīng)用到不同的 Storm 服務(wù)。
更多詳情請參看
《Storm 用戶指南》。
分享