Hadoop 服務(wù)

Hadoop 是一個(gè)在大數(shù)據(jù)領(lǐng)域應(yīng)用最廣泛的、穩(wěn)定可靠的、可擴(kuò)展的用于分布式并行計(jì)算的開源軟件。Hadoop 使用簡(jiǎn)潔的 MapReduce 編程模型來(lái)分布式的處理跨集群的大型數(shù)據(jù)集，集群規(guī)?？梢詳U(kuò)展到幾千甚至幾萬(wàn)。相比于依賴昂貴的 硬件來(lái)實(shí)現(xiàn)高可用性，Hadoop是在假設(shè)每臺(tái)機(jī)器都會(huì)出錯(cuò)的情況下，從軟件層面來(lái)實(shí)現(xiàn)錯(cuò)誤的檢測(cè)和處理。青云提供的 Hadoop 集群服務(wù)包含：HDFS 分布式文件系統(tǒng)、Yarn 任務(wù)調(diào)度和集群資源管理系統(tǒng)以及 MapReduce 并行 分析計(jì)算系統(tǒng)。關(guān)于Hadoop 更多的詳細(xì)信息，可參閱?Hadoop 官方網(wǎng)站?。

系統(tǒng)部署架構(gòu)

Hadoop 集群采用的是 master/slave 架構(gòu)，青云提供的 Hadoop 集群服務(wù)還包括在線伸縮、監(jiān)控和告警等功能，幫助您更好地管理集群。 如下圖所示，青云的 Hadoop 集群分三種節(jié)點(diǎn)類型：主節(jié)點(diǎn) (Yarn Resource Manager 和 HDFS Name Node)，從節(jié)點(diǎn) (Yarn Node Manager 和 HDFS Data Node) 和客戶端節(jié)點(diǎn) (Hadoop Client Node)。 用戶在客戶端節(jié)點(diǎn)發(fā)起Map Reduce 任務(wù)，通過(guò)與 HDFS 和 Yarn 集群中各節(jié)點(diǎn)的交互存取文件和執(zhí)行 MapReduce 任務(wù)，獲取結(jié)果。 另外，為了讓用戶更好的管理集群服務(wù)，我們提供了在線伸縮和監(jiān)控告警功能。其中，

在線伸縮：

• 增加節(jié)點(diǎn)：可以對(duì)每個(gè)新增節(jié)點(diǎn)指定 IP 或選擇自動(dòng)分配。
• 刪除節(jié)點(diǎn)：對(duì)集成 HDFS 的 Hadoop，刪除節(jié)點(diǎn)是一個(gè)比較危險(xiǎn)的操作，要仔細(xì)閱讀相關(guān)文檔。
• 縱向伸縮：由于不同類節(jié)點(diǎn)壓力并不同，所以青云 Hadoop 支持對(duì) Yarn Resource Manager 主節(jié)點(diǎn)、HDFS Name Node 主節(jié)點(diǎn) 和 Hadoop 從節(jié)點(diǎn)分別進(jìn)行縱向伸縮。

監(jiān)控與告警：

Hadoop HDFS， Yarn 和 MapReduce 提供了豐富的監(jiān)控信息。如果需要通過(guò)公網(wǎng)訪問這些信息您需要先在路由器上設(shè)置端口轉(zhuǎn)發(fā)，同時(shí)打開防火墻相應(yīng)的下行端口。詳情請(qǐng)參看文檔。 同時(shí)我們還提供了對(duì)每個(gè)節(jié)點(diǎn)資源的監(jiān)控和告警服務(wù)，包括 CPU 使用率、內(nèi)存使用率、硬盤使用率等，以幫助用戶更好的管理和維護(hù) Hadoop 集群。 關(guān)于 Hadoop 服務(wù)的更多詳情請(qǐng)參看使用指南。