
繼 Spark 1.4.1 之后,青云增加了 Spark 最新版本 1.5.0 的支持
繼 Spark 1.4.1 之后,青云增加了 Spark 最新版本 1.5.0 的支持。
對比1.4.1, 1.5.0 增加了 1400+ 個代碼提交,主要的變化包括 DataFrame/SQL 執(zhí)行后端優(yōu)化,使得性能得到很大提高,詳情請見 https://issues.apache.org/jira/browse/SPARK-7075。機器學(xué)習(xí)增加了更多的算法,對以前版本的算法做了改進,并且機器學(xué)習(xí)開始從library轉(zhuǎn)向構(gòu)建一個機器學(xué)習(xí)工作流 Pipeline 的系統(tǒng)。同時在 Streaming 和 Graphx 方面也有非常大的改進。詳細說明見 http://spark.apache.org/releases/spark-release-1-5-0.html
青云 Spark 服務(wù)同時也支持現(xiàn)有用戶從1.4.1版本升級到1.5.0,升級步驟見
https://docs.qingcloud.com/guide/spark.html#id7
