 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
|
課程特點
當下是大數據時代，為構建大數據平臺，技術人員需要對分布式計算平臺有一定深入的理解和應用。MapReduce作為一個經典的分布式計算框架，已經廣為人知，且得到了廣泛的應用，但MapReduce自身存在很多問題，包括迭代式計算和DAG計算等類型的數據挖掘與機器學習算法性能低下，不能很好地利用內存資源，編程復雜度較高等。為了克服MapReduce的眾多問題，新型計算框架出現了。
目標收益
本課程將為大家全面而又深入的介紹Spark、Hadoop平臺的構建流程，涉及Spark、Hadoo系統基礎知識，概念及架構， Spark、Hadoo實戰技巧，Spark、Hadoo經典案例等。
通過本課程實踐，幫助學員對Spark、Hadoo生態系統有一個清晰明了的認識；理解Spark、Hadoo系統適用的場景；掌握Spark、Hadoo等初中級應用開發技能；搭建穩定可靠的Spar、Hadoo k集群，滿足生產環境的標準；了解和清楚大數據應用的幾個行業中的經典案例，包括阿里巴巴，華為等。
培訓對象
各類 IT/軟件企業和研發機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。
學員基礎
了解Linux系統及相關語言環境
課程大綱
主題內容
Hadoop簡介和生態系統介紹傳統大規模數據分析存在的問題?
Hadoop概述?
Hadoop與分布式文件系統?
Hadoop生態系統
Hadoop的行業應用案例分析
Hadoop在云計算和大數據的位置和關系
Hadoop版本介紹
Hadoop與Google FS的關系
Hadoop在國內的使用情況和未來
Hadoop安裝和主要配置文件介紹Hadoop安裝所需軟件介紹
Hadoop單機安裝
Hadoop偽分布式安裝
Hadoop完全分布式安裝
Hadoop三個節點安裝的配置介紹
Hahoop多節點ssh配置
Hadoop格式化詳解
Hadoop核心配置文件介紹
核心配置文件core-site.xml
HDFS配置文件hdfs-site.xml
Mapreduce配置文件mapred-site.xml
master文件配置詳解
slave文件配置詳解
Hadoop啟動和停止方法一
—start-all.sh詳解
—stop-all.sh詳解
Hadoop的啟動和停止方法二
—hadoop-deamon.sh詳解
Hadoop安裝的常見錯誤介紹和解決方案
使用自帶的wordcount和pi測試集群安裝是否成功
使用Streaming來測試集群安裝是否成功
Hadoop組件介紹Hadoop NameNode 介紹
Hadoop SecondaryNameNode 介紹?
Hadoop DataNode 介紹
Hadoop JobTracker 介紹?
Hadoop TaskTracker 介紹
Hadoop的HDFS模塊HDFS架構介紹
HDFS原理介紹
NameNode功能詳解
DataNode功能詳解
SecondaryNameNode功能詳解
HSFD的fsimage和editslog詳解
HDFS的block詳解
HDFS的block的備份策略
Hadoop的機架感知配置
HDFS的shell命令介紹
HDFS的thrift server服務介紹
HDFS的API接口介紹
HDFS的權限詳解
Hadoop的客服端接入案例
MapReducer入門Mapreduce原理
MapReduce流程
剖析一個MapReduce程序
Mapper和Reducer抽象類詳解
Mapreduce的最小驅動類
MapReduce自帶的類型
自定義Writables和WritableComparables
Mapreduce的輸入InputFormats
MapReduce的輸出OutputFormats
Combiner詳解
Partitioner詳解
DistributeFileSystem詳解
Hadoop Tools工具介紹
Counter計數器詳解
自定義Counter計數器
基于Hadoop二次開發實戰
MapReduce的優化
Map和Reduce的個數設置
Hadoop小文件優化
任務調度
默認的任務調度
公平任務調度
能力任務調度
使用 Hadoop MapReduce Streaming 編程?
MapReduce的單元測試
HiveHive和Pig基礎
Hive、Impala和presto的比較?
Hive的作用和原理說明
Hadoop倉庫和傳統數據倉庫的協作關系
Hadoop/Hive倉庫數據數據流
Hive部署和安裝
HiveCli的基本用法
Hive的server啟動
HQL基本語法
Hive的加載數據本地加載和HDFS加載
Hive的partition詳解
Hive的存儲方式詳解
RCFILE、TEXTFILE和SEQUEUEFILE
Hive的UDF和UDAF
Hive的transform詳解
Hive的JDBC連接
Sqoop介紹Sqoop是什么
Sqoop安裝
Sqoop把mysql數據導入HDFS
Sqoop把HDFS數據導入Mysql
Sqoop吧Mysql數據導入Hive
Sqoop吧Mysql數據導入Hive分區
Hadoop集群配置和維護Hadoop集群的部署要點
NameNode和SecondaryNameNode和JobTracker機器的配置要求
dataNode與tasktracker機器的配置要求
Hadoop集群管理的工具介紹
Ganglia和nigos監控Hadoop集群介紹
Ambri介紹
添加和刪除節點演示
Namenode的單點解決方案
NameNode的NFS備份介紹
集群所有dataNode掛掉的故障介紹
集群NameNode的fsimage丟掉恢復方法
Hadoop集群維護的注意點
Hbase使用Hbase原理
Hmaster詳解
RegionServer詳解
Zookeeper介紹
Hbase安裝
Hbase邏輯視圖介紹
Hbase物理視圖介紹
Hbase的二級索引介紹
Hbase的DDL和DML
Hbase表的設計案例
Hbase的import功能介紹
MapReduce操作Hbase
Hbase的thriftServer介紹
Hbase的API介紹
Hbase使用場景介紹
Hbase案例分析
大數據在國內的運用大數據在國內的使用介紹
離線計算框架介紹
流式計算框架介紹
內存計算框架介紹
內存流式計算介紹
大數據實時請求框架介紹
大數據在移動的案例介紹
大數據在銀行的案例介紹
大數據在阿里的案例介紹
Spark生態介紹Spark產生背景
Spark（內存計算框架）
SparkSteaming（流式計算框架）
SparkSQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel將被代）
spark安裝部署Spark安裝簡介
Spark的源碼編譯
SparkStandalone安裝
SparkStandaloneHA安裝
Spark應用程序部署工具spark-submit
Spark運行架構和解析Spark的運行架構
基本術語
運行架構
SparkonStandalone運行過程
SparkonYARN運行過程
Spark運行實例解析
SparkonStandalone實例解析
SparkonYARN實例解析
SparkSQL原理和實踐SparkSQL原理
SparkSQL的Catalyst優化器
SparkSQL內核
SparkSQL和Hive
SparkSQL的實例和編程
SparkSQL的實例操作demo
SparkSQL的編程
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業
