Spark在機器學(xué)習(xí)方面有著無與倫比的優(yōu)勢，特別適合需要多次迭代計算的算法。同時Spark的擁有非常出色的容錯和調(diào)度機制，確保系統(tǒng)的穩(wěn)定運行。
1、云計算大數(shù)據(jù)從業(yè)者；
2、Hadoop使用者；
3、系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、開發(fā)人員；
4、牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運行、規(guī)劃、設(shè)計負責(zé)人；
5、機關(guān)，金融保險、移動和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負責(zé)人；
6、高校、科研院所涉及到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項目負責(zé)人；
7、數(shù)據(jù)倉庫管理人員、建模人員，分析和開發(fā)人員、系統(tǒng)管理人員、數(shù)據(jù)庫管理人員以及對數(shù)據(jù)倉庫感興趣的其他人員；
|
Spark的架構(gòu)設(shè)計 1.1 Spark的速度為什么如此的快？ 1.2 Spark 生態(tài)系統(tǒng) 1.3 Spark的架構(gòu)設(shè)計剖析 1.4 RDD計算流程解析 1.5 Spark的出色容錯機制 1.6Spark分布式架構(gòu)與單機多核架構(gòu)的異同 1.7 Spark的企業(yè)級應(yīng)用 Spark在Amazon中的應(yīng)用 Spark在Yahoo!的應(yīng)用 Spark在西班牙電信的應(yīng)用 Spark在淘寶的應(yīng)用 Spark集群的安裝和設(shè)置 2.1 在一臺機器上運行Spark 2.2 在Mesos上部署Spark 2.3 在YARN上部署Spark 2.4 通過SSH在眾多機器上部署Spark 2.5 Spark集群設(shè)置 Spark開發(fā)環(huán)境配置及流程 3.1 Scala簡介、為什么Spark會使用Scala作為開發(fā)語言 3.2使用Eclipse開發(fā)Spark程序 3.3深入使用Spark Shell 3.4遠程調(diào)試Spark程序 3.5 Spark編譯 3.6配置Spark源碼閱讀環(huán)境 3.6.1 Maven 3.6.2 3.7 Spark 編程實戰(zhàn)Java\Scala\Python語言的案例 3.7.1 Spark WordCount 3.7.2 Spark 排序 3.7.3. 使用Spark讀取HDFS\File 數(shù)據(jù) 快速掌握Scala 4.1 Scala變量聲明、操作符、函數(shù)的使用實戰(zhàn) 4.2 apply方法 4.3 Scal的控制結(jié)構(gòu)和函數(shù) 4.4 Scala數(shù)組的操作、Map的操作 4.5 Scala中的類 4.6 Scala中對象的使用； 4.7 Scala中的繼承 4.8 Scala中的特質(zhì) 4.9 Scala中集合操作 |
|
Spark On Yarn Spark on Yarn & Spark as a service Spark on Yarn原理 Spark on Yarn實踐 JobServer架構(gòu) JobServer API介紹 JobServer配置與部署
SparkContext解析和數(shù)據(jù)加載以及存儲 6.1 源碼剖析SparkContext 6.2 Scala、Java、Python使用SparkContext 6.4 加載數(shù)據(jù)成為RDD 6.5 把數(shù)據(jù)物化 深入實戰(zhàn)RDD 7.1 DAG 7.2 深入實戰(zhàn)各種Scala RDD Function 7.3 Spark Java RDD Function 7.4 RDD的優(yōu)化問題 Shark與Spark SQL Shark與Hive及Shark數(shù)據(jù)模型 安裝和配置Shark及Shark數(shù)據(jù)類型 使用Shark處理數(shù)據(jù) 在Spark程序中使用Shark Queries SharkServer Spark SQL架構(gòu) Parquet支持 DSL SQL on RDD&UDF&JDBC Server DataFrame API Hive交互 外部數(shù)據(jù)源API 與Spark其他組件的交互 Catalyst查詢優(yōu)化器 Spark程序的測試 9.1 編寫可測試的Spark程序 9.2 Spark測試框架解析 9.3 Spark測試代碼實戰(zhàn) Spark Streaming Spark Streaming概述 Spark Streaming安裝 和 Storm 性能對比分析 DStream Operations Persistence |
