Ansys|91国内精品视频|Matlab|91国内精品久久久|R语言培训课程班-91国内精品久久-曙海培训深圳成都南京苏州杭州

培訓對象

　　本次Hadoop培訓對象針對各類IT/軟件企業(yè)和研發(fā)機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。

　　學員基礎

　　了解Java語言、Linux系統(tǒng);

　　課程大綱

　　大數(shù)據(jù)架構概述

　　1.1大數(shù)據(jù)層級架構及各層軟件設計要求，包括數(shù)據(jù)收集、存儲、計算框、應用

　　1.2 Hadoop生態(tài)系統(tǒng)概述以及版本演化，并給出版本選擇建議。

　　1.3 Spark生態(tài)系統(tǒng)概述及其特點，并與Hadoop對比

　　數(shù)據(jù)收集系統(tǒng)Flume與Sqoop

　　2.1使用flume和sqoop兩個系統(tǒng)將外部流式數(shù)據(jù)(比如網(wǎng)站日志，用戶行為數(shù)據(jù)等)、關系型數(shù)據(jù)庫(比如MySQL、Oracle等)中的數(shù)據(jù)導入Hadoop中進行分析和挖掘

　　大數(shù)據(jù)存儲系統(tǒng)HDFS與HBase

　　3.1 與HDFS1.0進行對比介紹2.0原理、特性與基本架構(快照、緩存、異構存儲)。

　　3.2 HBase原理，基本架構與案例分析

　　3.3 HBase應用場景、原理和架構，典型應用案例(互聯(lián)網(wǎng)、銀行)

　　集群資源管理與調度系統(tǒng)

　　4.1 介紹YARN應用場景、基本架構與資源調度

　　Zookeeper部署及典型應用

　　5.1 介紹Zookeeper是什么，基本原理及在應用

　　大數(shù)據(jù)計算平臺

　　介紹主流的三大類大數(shù)據(jù)計算框架，分別是批處理、交互式計算和流式計算框架，并選取當下主流的開源實現(xiàn)進行介紹。

　　6.1 批處理計算框架

　　6.1.1 MapReduce2.0基本原理與架構、程序編寫(使用java、C++、php語言)

　　6.1.2 數(shù)據(jù)分析系統(tǒng)Hive與Pig應用與比較，如何使用其中的海量數(shù)據(jù)

　　6.1.3 Spark計算框架，背景及應用案例

　　6.2 交互式計算框架，Impala和presto應用場景，基本架構和典型應用案例

　　6.3 流式/實時計算框架，storm、SparkStreaming基本架構特點，及應用案例

　　數(shù)據(jù)挖掘與機器學習庫

　　7.1 Mahout與MLlib兩個主流的分布式數(shù)據(jù)挖掘與機器學習庫的實現(xiàn)以及應用案例。