消息隊(duì)列與集群管理服務(wù)

在青云，你可以快速創(chuàng)建基于 ZooKeeper 協(xié)調(diào)管理的消息系統(tǒng)（Kafka）以處理大量活躍流式數(shù)據(jù)。

ZooKeeper

ZooKeeper 是一個(gè)高可用的分布式數(shù)據(jù)管理與系統(tǒng)協(xié)調(diào)軟件，它可以為分布式應(yīng)用提供狀態(tài)同步、配置管理、名稱(chēng)服務(wù)、群組服務(wù)、分布式鎖及隊(duì)列、以及 Leader 選舉等服務(wù)。主要支持以下特性：

• 在線伸縮：ZooKeeper 支持橫向、縱向的在線伸縮，既可以在線增加、刪除節(jié)點(diǎn)，也可以在線更改資源配置。
• 監(jiān)控服務(wù)：ZooKeeper 提供了詳細(xì)的監(jiān)控信息，既有對(duì)每個(gè)節(jié)點(diǎn)的資源監(jiān)控，如內(nèi)存使用率等；也對(duì)每個(gè)節(jié)點(diǎn)提供了 ZooKeeper 服務(wù)監(jiān)控，包括節(jié)點(diǎn)角色、響應(yīng)延遲時(shí)間等。
• 告警服務(wù)：我們對(duì)每個(gè)節(jié)點(diǎn) ZooKeeper 服務(wù)是否正常進(jìn)行監(jiān)控并設(shè)置告警策略，一旦某個(gè)節(jié)點(diǎn) ZooKeeper 服務(wù)發(fā)生異常就進(jìn)行告警，并發(fā)送短信和郵件通知給用戶(hù)。
• 自我診斷與自我修復(fù)：當(dāng)系統(tǒng)發(fā)現(xiàn)某節(jié)點(diǎn)壞死時(shí)會(huì)自我修復(fù)，無(wú)需人為干預(yù)。
• 更多詳情請(qǐng)參看《ZooKeeper服務(wù)指南》。

消息隊(duì)列 Message Queue

消息隊(duì)列（Message Queue）服務(wù)是為了緩解消息生產(chǎn)者與消息消費(fèi)者之間不同步問(wèn)題，從而在兩者之間加了一層緩沖區(qū)的一項(xiàng)服務(wù)。青云目前支持的 Kafka 是一個(gè)分布式、可分區(qū)、多副本的消息系統(tǒng)，具有高吞吐量、低延遲等優(yōu)點(diǎn)。主要支持以下特性：

• 在線伸縮：消息隊(duì)列服務(wù)支持橫向、縱向的在線伸縮，既可以在線增加、刪除節(jié)點(diǎn)，也可以在線更改資源配置。
• 監(jiān)控服務(wù)：消息隊(duì)列服務(wù)提供了詳細(xì)的監(jiān)控信息。以 Kafka 為例，既有對(duì)每個(gè)節(jié)點(diǎn)的資源監(jiān)控，如內(nèi)存使用率、 CPU 使用率等；也對(duì)每個(gè)節(jié)點(diǎn)提供了 Kafka 服務(wù)監(jiān)控，包括 Java 虛擬機(jī)堆內(nèi)存使用率、消息吞吐率、數(shù)據(jù)吞吐率等。
• 告警服務(wù)：我們支持對(duì)每個(gè)節(jié)點(diǎn)配置監(jiān)控告警策略，當(dāng)發(fā)生異常時(shí)，會(huì)觸發(fā)用戶(hù)設(shè)定的告警閾值，并發(fā)送短信和郵件通知給用戶(hù)。除了資源如CPU、內(nèi)存、硬盤(pán)告警外， Kafka 還支持“存在異常分區(qū)”的監(jiān)控告警。
• 靈活組網(wǎng)：青云提供靈活的網(wǎng)絡(luò)配置來(lái)支持 Kafka 的 broker, producer 和 consumer 都不在一個(gè)網(wǎng)段中的情況，可以通過(guò)修改 broker 的 Advertised 主機(jī)名 與 Advertised 端口來(lái)實(shí)現(xiàn)。
• 配置修改：我們通過(guò)消息隊(duì)列配置組來(lái)管理消息隊(duì)列服務(wù)的配置。消息隊(duì)列服務(wù)和消息隊(duì)列配置組是解耦的，您可以創(chuàng)建多個(gè)獨(dú)立的配置組，并應(yīng)用到不同的消息隊(duì)列服務(wù)。 消息隊(duì)列服務(wù)在運(yùn)行過(guò)程中，也可以隨時(shí)變更配置組。
• 更多詳情請(qǐng)參看《消息隊(duì)列服務(wù)指南》。