Spark 是繼 Hadoop 之后新一代的大數(shù)據分布式處理平臺，是一個基于內存、容錯型的分布式計算引擎，其卓越的用戶體驗以及統(tǒng)一的技術堆棧使其迅速成為當前最為熱門的大數(shù)據基礎平臺。相比于Spark 1.0，Spark 2.0 在功能和性能等方面均有巨大改進，主要體現(xiàn)在標準 SQL 支持、DataFrame/Dateset API的統(tǒng)一、Structured Streaming API以及引擎性能的大幅提升。 本次青云提供的 Spark 2.0.1 版本，是 Spark 2.0 的一個修正版本，共處理了300多個Issue，涉及 Spark 穩(wěn)定性和 Bug 等方面的修復。關于青云 Spark 的使用，請參考《用戶指南》。