 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
模塊一 Spark
生態介紹 ? Mapreduce、storm和spark模型的比較和使用場景介紹
? Spark產生背景
? Spark（內存計算框架）
? SparkSteaming（流式計算框架）
? Spark SQL（ad-hoc）
? Mllib（MachineLearning）
? GraphX（bagel將被代）
? DlinkDB介紹
? SparkR介紹
模塊二 Spark
安裝部署 ? Spark安裝簡介
? Spark的源碼編譯
? Spark Standalone安裝
? Spark應用程序部署工具spark-submit
? Spark的高可用性部署
模塊三 Spark
運行架構和解析 ? Spark的運行架構
? 基本術語
? 運行架構
? Spark on Standalone運行過程
? Spark on YARN 運行過程
? Spark運行實例解析
? Spark on Standalone實例解析
? Spark on YARN實例解析
? 比較 Standalone與YARN模式下的優缺點
模塊四 Spark
scala編程 ? Scala基本語法與高階語法
? Scala基本語法
? Scala開發環境搭建
? Scala開發Spark應用程序
? 使用java編程
? 使用scala編程
? 使用python編程
模塊五 Spark
編程模型和解析 ? Spark的編程模型
? Spark編程模型解析
? RDD的特點、操作、依賴關系
? Spark應用程序的配置
? Spark的架構
? spark的容錯機制
? 數據的本地性
? 緩存策略介紹
寬依賴與窄依賴
模塊六 Spark 數據挖掘 ? Mllib的介紹
? graphX核心原理
? table operator和graph operator區別
? vertices、edges和triplets介紹
? 構建一個graph
? SparkR原理
? SparkR實戰
模塊七 Spark Streaming原理和實踐 ? Spark Streaming與Strom的區別
? Kafka的部署
? Kafka與Spark Streaming的整合
? Spark Streaming原理
? Spark流式處理架構
? DStream的特點
? Dstream的操作和RDD的區別
? 帶狀態的transformation與無狀態transformation
? Spark Streaming的優化
? Spark Streaming實例
? Streaming的容錯機制
? streaming在yarn模式下的注意事項
對于需結合第三方存儲機制的與流式處理方案
? 文本實例
? 網絡數據處理
? Kafka+Spark Streaming實現日志的實時分析案例
模塊八 Spark的優化 ? 序列化優化——Kryo
? Spark參數優化實戰
? Spark 任務的均勻分布策略
? Partition key傾斜的解決方案
? Spark任務的監控
? GC的優化
? Spark Streaming吞吐量優化
? Spark RDD使用內存的優化策略
? Spark在使用中的感想分享
模塊九 Spark的數據源 ? Spark與HDFS的整合
? HDFS RDD原理和實現
? Spark與Hbase的整合
? Spark與Cassendera整合
? Hbase RDD的分區讀取
? Hbase RDD的原理和實現
? Spark parallelism RDD的工作機制
模塊十 Spark Streaming應用及案例分析 ? Spark Streaming產生動機
???Spark Streaming程序設計
（1）創建DStream
（2）基于DStream進行流式處理
? Spark Streaming容錯與性能優化
（1）Spark Streaming容錯機制
（2）如何對spark Streaming進行優化
???Spark Streaming案例分析
基于Spark Streaming的用戶標簽系統，內容包括項目背景，項目架構以及實施方法
模塊十一 典型項目
案例實戰 ? 基于spark日志分析
? 個性化推薦系統：帶你揭開其神秘面紗
? 在線投放引擎
? 揭開淘寶點擊推薦系統的神秘面紗
? 淘寶數據服務架構—實時計算平臺 |
|
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
