| |
Spark培訓(xùn)課程
|
| |
 班級規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號（中和大道） 【沈陽分部】：沈陽理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會。 |
課程大綱 |
1 spark 架構(gòu)設(shè)計(jì)
1.1 spark軟件棧，spark生態(tài)系統(tǒng)
1.2 spark簡介，spark版本和發(fā)布
1.3 spark架構(gòu)設(shè)計(jì)解析
1.4 RDD計(jì)算流程解析
1.5 Spark出色的容錯(cuò)機(jī)制
2 spark運(yùn)行模式及原理
2.1 spark運(yùn)行模式概述
2.2 local模式
2.3 standalone模式,集群HA
2.4 local cluster模式
2.5 yarn-client/yarn-cluster模式
2.6 mesos模式
3 spark RDD編程模式
3.1 RDD基礎(chǔ)，RDD分區(qū)，RDD優(yōu)先位置…
3.2 RDD操作，action,transformation,lazy
3.3 Lineage
3.4 寬依賴和窄依賴
3.5 常見的轉(zhuǎn)換操作和行動操作
3.6 持久化
4 深入spark內(nèi)核
4.1 Spark集群
4.2 任務(wù)調(diào)度
4.3 DAGScheduler,TaskScheduler,task內(nèi)部揭秘
4.4 廣播變量的機(jī)制和實(shí)踐
4.5 累加器的機(jī)制和實(shí)踐
4.6 Spark作業(yè)提交和接收過程
4.7 Spark shuffle性能分析
4.8 Cache和checkpoint
5 Sparksql
5.1 在應(yīng)用中使用sparksql,比如：基本查詢例子，schemeRDD,cache
5.2 讀取和存儲數(shù)據(jù)
1 hive,2 parquet,3 json,4基于RDD
5.3 Jdbc/odbc服務(wù)器，beeline
5.4 用戶自定義函數(shù)，sparksql udf,hive udf
5.5 Sparksql性能
6 spark streaming
6.1 spark streaming基本概念，架構(gòu)
6.2 dstream
6.3 transformation轉(zhuǎn)換操作，無狀態(tài)轉(zhuǎn)換操作，有狀態(tài)轉(zhuǎn)化操作
6.4 checkpoint
6.5 輸入源
6.6 容錯(cuò)機(jī)制
6.7 性能考量，比如批次和窗口大小，并行度，垃圾回收和內(nèi)存使用
7 spark機(jī)器學(xué)習(xí)
7.1 機(jī)器學(xué)習(xí)快速入門
7.2 Spark MLlib介紹
7.3 Spark Mllib架構(gòu)解析
7.4 MLlib經(jīng)典算法解析和案例
7.4.1：K-Means解析和實(shí)戰(zhàn)
8 Tachyon文件系統(tǒng)
8.1 tachyon文件系統(tǒng)概述
8.2 tachyon與hdfs
8.3 tachyon設(shè)計(jì)原理
8.4 tachyon部署
8.5 tachyon api
8.6 tachyon實(shí)踐解析
9 spark性能優(yōu)化
9.1 spark性能優(yōu)化遇到的問題以及解決辦法
9.2 spark內(nèi)存優(yōu)化
9.3 垃圾回收
9.4 Spark原理以及參數(shù)優(yōu)化
9.5 Spark性能優(yōu)化案例
10 spark項(xiàng)目架構(gòu)解析
10.1 實(shí)際項(xiàng)目場景中架構(gòu)設(shè)計(jì)和方案
|
|
|
|
|
|
|
|
|
|
|
| |
本課程部分實(shí)驗(yàn)室實(shí)景 |
|
|
|
|
|
|
|
|
首頁 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動 就業(yè)
