| |
Spark與Storm系列大數(shù)據(jù)處理技術(shù)應(yīng)用實(shí)戰(zhàn)培訓(xùn)課程
|
| |
 班級(jí)規(guī)模及環(huán)境--熱線:4008699035 手機(jī):15921673576( 微信同號(hào)) |
|
每期人數(shù)限3到5人。 |
| 上課時(shí)間和地點(diǎn) |
上課地點(diǎn)：【上海】：同濟(jì)大學(xué)(滬西)/新城金郡商務(wù)樓(11號(hào)線白銀路站) 【深圳分部】：電影大廈(地鐵一號(hào)線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號(hào)（中和大道） 【沈陽分部】：沈陽理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時(shí)間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實(shí)驗(yàn)設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費(fèi)推薦工作
★實(shí)驗(yàn)設(shè)備請(qǐng)點(diǎn)擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。 |
課程大綱 |
一、課程背景概述
大數(shù)據(jù)平臺(tái)技術(shù)已經(jīng)給新興互聯(lián)網(wǎng)企業(yè)（如電子商務(wù)網(wǎng)站、搜索引擎、社交網(wǎng)站、互聯(lián)網(wǎng)廣告服務(wù)提供商等）、銀行金融證券企業(yè)、電信運(yùn)營商行業(yè)、高端裝備制造企業(yè)、IT基礎(chǔ)設(shè)施提供商等帶來了巨大的商業(yè)機(jī)遇，大數(shù)據(jù)平臺(tái)在整個(gè)企業(yè)的價(jià)值增值鏈中發(fā)揮著至關(guān)重要的決定性作用。互聯(lián)網(wǎng)+大數(shù)據(jù)時(shí)代的到來，一方面為企業(yè)帶來了潛在的巨大發(fā)展機(jī)遇，能有效推動(dòng)企業(yè)的信息化轉(zhuǎn)型升級(jí)和科學(xué)決策分析；另一方面由于企業(yè)缺乏大數(shù)據(jù)技術(shù)專業(yè)人才和大數(shù)據(jù)平臺(tái)建設(shè)實(shí)施經(jīng)驗(yàn)，對(duì)企業(yè)實(shí)行大數(shù)據(jù)發(fā)展戰(zhàn)略也帶來了較大的挑戰(zhàn)。本次課程帶大家領(lǐng)略大數(shù)據(jù)技術(shù)的魅力和廣闊前景，系統(tǒng)地講解大數(shù)據(jù)處理技術(shù)的產(chǎn)生背景、發(fā)展歷程、主流平臺(tái)、核心組件、關(guān)鍵技術(shù)、平臺(tái)架構(gòu)、大數(shù)據(jù)解決方案以及大數(shù)據(jù)應(yīng)用案例集錦。結(jié)合業(yè)界使用最廣泛的主流大數(shù)據(jù)平臺(tái)技術(shù)，重點(diǎn)剖析Hadoop + Spark + Storm大數(shù)據(jù)處理技術(shù)生態(tài)圈，包括大數(shù)據(jù)存儲(chǔ)管理、分布式并行計(jì)算處理、實(shí)時(shí)內(nèi)存計(jì)算處理、流式數(shù)據(jù)處理技術(shù)、大型NoSQL與NewSQL數(shù)據(jù)庫、分布式數(shù)據(jù)檢索與搜索處理技術(shù)（ElasticSearch）、大型數(shù)據(jù)倉庫平臺(tái)、大數(shù)據(jù)分析挖掘處理平臺(tái)，以及這些大數(shù)據(jù)技術(shù)的平臺(tái)部署運(yùn)維與開發(fā)實(shí)踐應(yīng)用技巧。通過本次課程培訓(xùn)讓學(xué)員掌握主流的Hadoop與Spark大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)、大數(shù)據(jù)項(xiàng)目實(shí)施的關(guān)鍵技術(shù)，培訓(xùn)過程中穿插著已經(jīng)落地的成功大數(shù)據(jù)項(xiàng)目實(shí)施應(yīng)用案例，分享大數(shù)據(jù)應(yīng)用項(xiàng)目解決方案咨詢服務(wù)，讓學(xué)員掌握如何構(gòu)建可行的大數(shù)據(jù)平臺(tái)技術(shù)解決方案。本次培訓(xùn)緊密結(jié)合行業(yè)市場需求和國際國內(nèi)最新技術(shù)發(fā)展趨勢(shì)與潮流，為促進(jìn)企業(yè)實(shí)施大數(shù)據(jù)戰(zhàn)略，實(shí)現(xiàn)大數(shù)據(jù)的商業(yè)價(jià)值提供一種可行的方案思路，共同擁抱“云-網(wǎng)-端”以及“互聯(lián)網(wǎng)+大數(shù)據(jù)”時(shí)代的光明前景！
二、授課人群
1. 大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)師
2. 大數(shù)據(jù)項(xiàng)目應(yīng)用開發(fā)人員
3. 大數(shù)據(jù)平臺(tái)集群運(yùn)維人員
4. 大數(shù)據(jù)項(xiàng)目解決方案工程師
5. 大數(shù)據(jù)應(yīng)用業(yè)務(wù)人員
三、課程目標(biāo)
1. 本課程讓學(xué)員充分掌握大數(shù)據(jù)處理平臺(tái)（Hadoop、Spark、Storm）技術(shù)架構(gòu)、以及平臺(tái)的安裝部署、運(yùn)維配置、應(yīng)用開發(fā)實(shí)戰(zhàn)技能，熟悉國內(nèi)外主流的大數(shù)據(jù)處理解決方案、以及大數(shù)據(jù)應(yīng)用案例
2. 本課程強(qiáng)調(diào)主流的大數(shù)據(jù)關(guān)鍵技術(shù)及其在不同行業(yè)中企業(yè)的實(shí)際應(yīng)用，立足于實(shí)際的行業(yè)應(yīng)用需求，旨在讓企業(yè)學(xué)員能夠掌握大數(shù)據(jù)平臺(tái)技術(shù)及應(yīng)用如何落地，以及基于大數(shù)據(jù)平臺(tái)的應(yīng)用程序開發(fā)，以及大數(shù)據(jù)集群的運(yùn)維技術(shù)，讓學(xué)員掌握業(yè)界主流的大數(shù)據(jù)平臺(tái)的應(yīng)用和部署，并且結(jié)合當(dāng)前（移動(dòng)）互聯(lián)網(wǎng)環(huán)境下產(chǎn)生的大規(guī)模結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)管理以及分析處理需求，詳細(xì)講解有機(jī)地集成大數(shù)據(jù)平臺(tái)各個(gè)功能組件（大數(shù)據(jù)收集、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)管理、大數(shù)據(jù)挖掘、大數(shù)據(jù)分析和大數(shù)據(jù)可視化組件）設(shè)計(jì)大數(shù)據(jù)項(xiàng)目，并分享大數(shù)據(jù)項(xiàng)目應(yīng)用實(shí)施案例。
3. 讓學(xué)員掌握主流大數(shù)據(jù)Hadoop平臺(tái)和Spark實(shí)時(shí)處理平臺(tái)的技術(shù)架構(gòu)和實(shí)際應(yīng)用，并用結(jié)合實(shí)際的生產(chǎn)系統(tǒng)案例進(jìn)行教學(xué)，講解利用Hadoop+Spark對(duì)行業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)管理和分析挖掘的技術(shù)應(yīng)用，掌握基于Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘和數(shù)據(jù)倉庫分布式系統(tǒng)平臺(tái)應(yīng)用，以及主流的大數(shù)據(jù)平臺(tái)產(chǎn)品剖析。
4. 讓學(xué)員掌握業(yè)界最流行Hadoop與Spark大數(shù)據(jù)平臺(tái)，深入講解Hadoop生態(tài)系統(tǒng)組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲(chǔ)管理、分布式數(shù)據(jù)庫、大型數(shù)據(jù)倉庫、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術(shù)的實(shí)踐應(yīng)用。
5. 本課程采用技術(shù)原理與項(xiàng)目實(shí)戰(zhàn)相結(jié)合的方式進(jìn)行教學(xué)，在講授原理的過程中，穿插實(shí)際的系統(tǒng)操作，本課程講師也精心準(zhǔn)備的實(shí)際的應(yīng)用案例供學(xué)員動(dòng)手訓(xùn)練。
四、培訓(xùn)特色
定制授課+ 案例分析講解 + 互動(dòng)交流討論，共2天
五、培訓(xùn)大綱
時(shí)間 授課內(nèi)容 課堂演示/實(shí)踐說明
第1天 1. 大數(shù)據(jù)技術(shù)的發(fā)展歷程和應(yīng)用背景、大數(shù)據(jù)產(chǎn)業(yè)鏈概況，以及大數(shù)據(jù)技術(shù)在通信運(yùn)營商、互聯(lián)網(wǎng)金融業(yè)、網(wǎng)上銀行、電子商務(wù)、零售業(yè)、制造業(yè)、電子政務(wù)、移動(dòng)互聯(lián)網(wǎng)、教育信息化等行業(yè)中的應(yīng)用實(shí)踐；
2. 解析目前業(yè)界主流的標(biāo)準(zhǔn)化大數(shù)據(jù)平臺(tái)Hadoop + Spark平臺(tái)架構(gòu)，重點(diǎn)講解它們?cè)诖髷?shù)據(jù)存儲(chǔ)、管理、分析處理方面的應(yīng)用方案，以及在大數(shù)據(jù)離線分析、近線分析、實(shí)時(shí)在線分析處理方面的優(yōu)化組合方案及其優(yōu)勢(shì)；
3. Hadoop大數(shù)據(jù)平臺(tái)的生態(tài)系統(tǒng)組件、平臺(tái)架構(gòu)以及工作原理
4. Hadoop大數(shù)據(jù)存儲(chǔ)系統(tǒng)HDFS的技術(shù)原理及應(yīng)用實(shí)戰(zhàn)，HDFS分布式存儲(chǔ)系統(tǒng)的核心關(guān)鍵技術(shù)、設(shè)計(jì)精髓、基本工作原理、系統(tǒng)架構(gòu)、文件存儲(chǔ)模式、工作機(jī)制、存儲(chǔ)擴(kuò)容與吞吐性能擴(kuò)展。
5. 大數(shù)據(jù)平臺(tái)中的并行計(jì)算處理與函數(shù)式編程技術(shù)原理，以及數(shù)據(jù)并行技術(shù)—MapReduce技術(shù)的工作機(jī)制、工作原理、性能調(diào)優(yōu)和大數(shù)據(jù)處理架構(gòu)，以及MapReduce技術(shù)的發(fā)展趨勢(shì)
6. Hadoop MapReduce并行處理平臺(tái)的系統(tǒng)架構(gòu)、核心功能模塊、MapReduce編程應(yīng)用開發(fā)實(shí)踐、MapReduce程序Debug調(diào)試與任務(wù)調(diào)度技術(shù)
7. 第二代大數(shù)據(jù)計(jì)算框架Yarn的工作原理以及DAG并行執(zhí)行機(jī)制、MapReduce應(yīng)用開發(fā)環(huán)境的部署，以及大數(shù)據(jù)并行處理應(yīng)用程序開發(fā)
8. MapReduce高級(jí)編程技巧與性能優(yōu)化實(shí)踐、MapReduce與Yarn項(xiàng)目案例實(shí)踐
9. 常見的Hadoop平臺(tái)故障錯(cuò)誤分析策略以及監(jiān)控工具詳解，云文件存儲(chǔ)系統(tǒng)狀態(tài)以及海量作業(yè)執(zhí)行狀態(tài)監(jiān)控與故障解決經(jīng)驗(yàn)介紹 1. VMware虛擬機(jī)管理軟件的安裝部署，以及創(chuàng)建、啟動(dòng)、遷移、熱備虛擬機(jī)操作
2. VMware環(huán)境下部署配置CentOS虛擬機(jī)集群模擬真實(shí)的物理集群
3. 在CentOS虛擬集群上部署Hadoop平臺(tái)以及配置操作
4. 基于HDFS實(shí)現(xiàn)大規(guī)模在線文件存儲(chǔ)程序
5. 基于Hadoop MapReduce實(shí)現(xiàn)網(wǎng)頁數(shù)據(jù)統(tǒng)計(jì)程序
第1天 10. 目前業(yè)界行業(yè)云數(shù)據(jù)中心的大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)管理技術(shù)實(shí)現(xiàn)與平臺(tái)應(yīng)用，以及SQL、NoSQL和NewSQL關(guān)鍵技術(shù)詳解，系統(tǒng)平臺(tái)技術(shù)及應(yīng)用實(shí)踐
11. Hadoop半結(jié)構(gòu)化與非結(jié)構(gòu)化大數(shù)據(jù)管理系統(tǒng)HBase集群的應(yīng)用及其發(fā)展趨勢(shì)，HBase半結(jié)構(gòu)化大數(shù)據(jù)管理集群管理、運(yùn)維監(jiān)控、性能優(yōu)化、負(fù)載均衡，以及與Hadoop核心組件HDFS和MapReduce的數(shù)據(jù)協(xié)同操作應(yīng)用
12. 大型數(shù)據(jù)倉庫HIVE集群的技術(shù)原理及應(yīng)用，Hive文件與記錄存儲(chǔ)格式、Hive與HBase數(shù)據(jù)庫整合、Hive大數(shù)據(jù)統(tǒng)計(jì)分析技術(shù)、Hive功能操作實(shí)踐，以及云計(jì)算數(shù)據(jù)中心的Hive大型數(shù)據(jù)倉庫集群在BAT公司和通信運(yùn)營商中的案例分析，以及HBase和數(shù)據(jù)倉庫HIVE的框架整合技術(shù)及其應(yīng)用
13. Spark大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)的技術(shù)原理、集群架構(gòu)及其在大型互聯(lián)網(wǎng)公司和運(yùn)營商企業(yè)中的應(yīng)用實(shí)踐案例
14. Spark內(nèi)存實(shí)時(shí)處理平臺(tái)架構(gòu)，Spark分布式實(shí)時(shí)處理框架及工作原理
15. Spark集群的平臺(tái)架構(gòu)及其生態(tài)系統(tǒng)組件剖析，SparkSQL和Spark Streaming應(yīng)用技巧 6. 部署HBase大數(shù)據(jù)管理系統(tǒng)，配置、參數(shù)調(diào)優(yōu)、性能監(jiān)控， HBase數(shù)據(jù)表操作，以及項(xiàng)目應(yīng)用開發(fā)實(shí)踐
7. 配置部署HIVE數(shù)據(jù)倉庫集群，以及性能調(diào)優(yōu)實(shí)戰(zhàn)
8. 基于給定的實(shí)驗(yàn)數(shù)據(jù)集加載至HIVE以及HBase中，并且根據(jù)實(shí)驗(yàn)要求設(shè)計(jì)實(shí)現(xiàn)應(yīng)用程序
9. 部署和配置Spark分布式集群?
第2天 16. 基于Spark集群的GraphX圖處理技術(shù)剖析以及應(yīng)用實(shí)踐
17. 基于Spark集群的MLib和MLBase實(shí)時(shí)機(jī)器學(xué)習(xí)平臺(tái)技術(shù)剖析及其應(yīng)用實(shí)踐
18. Spark集群的安裝部署、開發(fā)環(huán)境搭建，以及根據(jù)實(shí)驗(yàn)數(shù)據(jù)集完成數(shù)據(jù)的加載、查詢檢索和分析統(tǒng)計(jì)程序的設(shè)計(jì)實(shí)現(xiàn)，以及和HBase+Hadoop的數(shù)據(jù)對(duì)接
19. 基于Hadoop+Mahout大數(shù)據(jù)分析挖掘處理平臺(tái)技術(shù)架構(gòu)，以及大數(shù)據(jù)挖掘在互聯(lián)網(wǎng)電商和電信行業(yè)中的應(yīng)用案例分析
20. Mahout大數(shù)據(jù)協(xié)同過濾分析、頻繁模式挖掘分析、聚類分析、分類分析、推薦分析的應(yīng)用程序開發(fā)實(shí)現(xiàn)
21. ElasticSearch分布式搜索引擎的平臺(tái)架構(gòu)設(shè)計(jì)、關(guān)鍵技術(shù)和核心組件剖析
22. ElasticSeach集群的分布式安裝部署與運(yùn)維配置，以及與Hadoop平臺(tái)集成技術(shù)應(yīng)用實(shí)踐
23. 流式大數(shù)據(jù)處理技術(shù)的基礎(chǔ)知識(shí)以及應(yīng)用介紹
24. Storm流式大數(shù)據(jù)處理平臺(tái)的技術(shù)原理、平臺(tái)架構(gòu)以及核心組件剖析
25. Storm集群的安裝部署、開發(fā)環(huán)境部署、程序開發(fā)及其實(shí)際應(yīng)用案例分析
26. Storm日志分析項(xiàng)目的應(yīng)用實(shí)踐
27. VMware虛擬化集群管理軟件，以及Hadoop + HBase + ElasticSearch + HIVE + Storm + Spark的大數(shù)據(jù)平臺(tái)集成解決方案的應(yīng)用實(shí)踐案例分享
28. 基于真實(shí)的互聯(lián)網(wǎng)數(shù)據(jù)和實(shí)驗(yàn)指導(dǎo)手冊(cè)在講師的引導(dǎo)下完成實(shí)際的項(xiàng)目案例，鞏固學(xué)過的大數(shù)據(jù)平臺(tái)技術(shù)知識(shí)以及應(yīng)用技能 10. 部署配置Storm集群，以及開發(fā)環(huán)境
11. 基于Storm處理平臺(tái)實(shí)現(xiàn)日志流分析系統(tǒng)設(shè)計(jì)
12. 結(jié)合云計(jì)算與大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)一個(gè)真實(shí)的互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)搜索系統(tǒng)，以及搜索日志分析與推薦系統(tǒng)應(yīng)用案例，構(gòu)建一個(gè)Hadoop, MapReduce, Storm, HBase, HIVE, Spark, ElasticSearch, Mahout的大數(shù)據(jù)平臺(tái)集成解決方案 |
|
|
|
|
|
|
|
|
|
|
| |
本課程部分實(shí)驗(yàn)室實(shí)景 |
|
|
|
|
|
|
|
|
首頁 課程表 在線聊 報(bào)名 講師 品牌 QQ聊 活動(dòng) 就業(yè)
