Ansys|91国内精品视频|Matlab|91国内精品久久久|R语言培训课程班-91国内精品久久-曙海培训深圳成都南京苏州杭州

本次Hadoop培訓內容如下：

　　第一部分

　　第1個主題：Hadoop思考

　　1.Hadoop的設計目標和適用場景

　　2.Hadoop架構解析

　　3.MapReduce工作原理和案例說明

　　第2個主題：Hadoop集群與管理

　　1、 Hadoop集群的搭建

　　2、 Hadoop集群的監控

　　3、 Hadoop集群的管理

　　4、 集群下運行MapReduce程序

　　第3主題：徹底掌握HDFS (具備修改HDFS具體源碼實現的能力)

　　1、HDFS體系架構剖析

　　2、NameNode、DataNode、SecondaryNameNode架構

　　3、保證NodeName高可靠性最佳實踐

　　4、DataNode中Block劃分的原理和具體存儲方式

　　5、修改Namenode、DataNode數據存儲位置

　　6、使用CLI操作HDFS

　　7、使用Java操作HDFS

　　第4主題：徹底掌握HDFS (具備修改HDFS具體源碼實現的能力)

　　1、RPC架構剖析

　　2、源碼剖析Hadoop構建于RPC之上

　　3、源碼剖析HDFS的RPC實現

　　4、源碼剖析客戶端與與NameNode的RPC通信

　　第5個主題：徹底掌握MapReduce(從代碼的角度剖析MapReduce執行的具體過程并具備開發MapReduce代碼的能力)

　　1、MapReduce執行的經典步驟

　　2、wordcount運行過程解析

　　3、Mapper和Reducer剖析

　　4、自定義Writable

　　5、新舊API的區別以及如何使用就API

　　6、把MapReduce程序打包成Jar包并在命令行運行

　　第6個主題：徹底掌握MapReduce(具備掌握Hadoop如何把HDFS文件轉化為Key-Value讓供Map調用的能力)

　　1、 Hadoop是如何把HDFS文件轉化為鍵值對的?

　　2、 源碼剖析Hadoop讀取HDFS文件并轉化為鍵值對的過程實現

　　3、 源碼剖析轉化為鍵值對后供Map調用的過程實現

　　第7個主題：徹底掌握MapReduce(具備掌握MapReduce內部運行和實現細節并改造MapReduce的能力)

　　1、 Hadoop內置計數器及如何自定義計數器

　　2、 Combiner具體的作用和使用以及其使用的限制條件

　　3、 Partitioner的使用最佳實踐

　　4、 Hadoop內置的排序算法剖析

　　5、 自定義排序算法

　　6、 Hadoop內置的分組算法

　　7、 自定義分組算法

　　8、 MapReduce常見場景和算法實現

　　第二部分

　　第1個主題：HBase架構設計和實現剖析

　　1、 HBase定義

　　2、 HBase與RDBMS的對比

　　3、 數據模型

　　4、 系統架構

　　5、 HBase上的MapReduce

　　6、 表的設計

　　第2個主題：HBase集群及其管理

　　1、 集群的搭建過程講解

　　2、 集群的監控

　　3、 集群的管理

　　第3個主題：HBase客戶端

　　1、 HBase Shell以及演示

　　2、 Java客戶端以及代碼演示

　　第4個主題：HBase案例實戰1---使用HBase實現微博系統

　　1. 項目架構和設計

　　2. 開發環境搭建

　　3. 實現用戶登錄和注銷

　　4.“關注”功能的設計和實現

　　5.“發微博”功能的設計和實現

　　6.發布和運行整個基于HBase的微博系統

　　第5個主題：HBase與MapReduce

　　1. HBase與MapReduce的關系

　　2. HBase如何使用MapReduce

　　第6個主題：HBase案例實戰2---話單查詢與統計

　　1. 項目架構設計

　　2. 開發環境搭建

　　3. 話單入庫和查詢的設計與實現

　　4.統計功能的設計與實現

　　第7個主題：安裝和使用Hive

　　1. Hive剖析

　　2. 安裝Hive

　　3.Hive的基本使用

　　第8個主題：Hive與HDFS、MapReduce

　　1. Hive向HDFS存入結構化數據

　　2. 使用MySQL作為Hive的元數據庫

　　3.Hive與MapReduce

　　第三部分

　　第1個主題：Hive

　　1. Hive的Java擴展開發

　　2. Hive UDF和UDAF開發

　　3. Hive常見場景，實戰練習

　　第2個主題：Hive案例實戰---數據統計

　　1. 項目架構設計

　　2. 表結構設計

　　3.數據的插入與統計實現

　　第3個主題：Sqoop

　　1. Sqoop原理

　　2. Sqoop使用詳解

　　3. 用Sqoop實現HDFS/Hive與關系數據庫的數據交互

　　4. 用Sqoop實現HBase與關系數據庫的數據交互

　　第4個主題：電商業日志流量分析項目

　　電商業日志流量分析項目，互聯網企業對海量日志的分析是Hadoop應用的一個重要用途，也是對網站流量、客戶行為分析的重要途徑。該項目整合Hive、Hbase、Sqoop等常用組件，涉及從后臺處理到前臺呈現的每一個技術環節。包括：

　　1·業務需求介紹

　　2·數據建模

　　3·后臺算法設計

　　4·后臺業務處理

　　5·前臺WEB展示等

　　第5個主題：Hadoop開發者之路

　　1. Hadoop技能模型

　　2. Hadoop開發者最佳學習路線和方式

　　3.Hadoop開發者最佳成長路線