Ansys|91国内精品视频|Matlab|91国内精品久久久|R语言培训课程班-91国内精品久久-曙海培训深圳成都南京苏州杭州

課程對象
　　 各地政府云計算物聯網產業相關負責人，各企業CIO、信息中心負責人、技術總監，云計算中心負責人，云計算產業投資團隊，云計算應用開發商，云計算硬件設備供應商，云服務提供商，高校、科研院所云計算項目負責人。
　　 各企業大數據架構師、技術總監、數據挖掘負責人、數據挖掘開發工程師
課程目標
　　 1、了解Hadoop的歷史及目前發展的現狀、以及Hadoop的技術特點，從而把握分布式計算框架及未來發展方向，在大數據時代能為企業的技術選型及架構設計提供決策參考。
　　 2、全面掌握Hadoop的架構原理和使用場景，并通過貫穿課程的項目進行實戰鍛煉，從而熟練使用Hadoop進行MapReduce程序開發。課程還涵蓋了分布式計算領域的常用算法介紹，幫助學員為企業在利用大數據方面體現自身價值。
　　 3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識，可以獨立規劃及部署生產環境的Hadoop集群，掌握Hadoop基本運維思路和方法，對Hadoop集群進行管理和優化。
　　
培訓特色
　　 注重應用：分析國內實際情況，結合國際、國內成功經驗。Hadoop采用實戰的項目，讓學員在短時間內掌握Hadoop的搭建與配置。并進行高效的大數據清洗和分析。形式靈活：互動課堂、免費技術沙龍、提供云計算項目建設咨詢、大數據Hadoop平臺的搭建。


課程大綱
模塊一
Hadoop在云計算技術的作用和地位
◆ 傳統大規模系統存在的問題
◆ Hadoop概述
◆ Hadoop分布式文件系統　　?
◆ MapReduce工作原理　　　　
◆ Hadoop集群剖析　　　　　?
◆ Hadoop生態系統對一種新的解決方案的需求
◆ Hadoop的行業應用案例分析
◆ Hadoop在云計算和大數據的位置和關系
◆ 數據開放,數據云服務平臺(DAAS)時代
◆ Hadoop平臺在數據云平臺(DAAS)上的天然優勢
◆ 數據云平臺(DAAS 平臺)組成部分
◆ 互聯網公共數據大云(DAAS)案例
◆Hadoop構建構建游戲云(Web Game Daas)平臺

模塊二
Hadoop生態系統介紹和演示
◆ Hadoop HDFS 和 MapReduce
◆ Hadoop數據庫之HBase
◆ Hadoop數據倉庫之Hive
◆ Hadoop數據處理腳本Pig
◆ Hadoop數據接口Sqoop和Flume，Scribe DataX
◆ Hadoop工作流引擎 Oozie
◆ 運用Hadoop自下而上構建大規模企業數據倉庫
◆ 暴風影音數據倉庫實戰解析

模塊三
Hadoop組件詳解
◆ Hadoop HDFS 基本結構
◆ Hadoop HDFS 副本存放策略
◆ Hadoop NameNode 詳解
◆ HadoopSecondaryNameNode 詳解
◆ Hadoop DataNode 詳解
◆ Hadoop JobTracker 詳解
◆ Hadoop TaskTracker 詳解
◆ Hadoop Mapper類核心代碼
◆ Hadoop Reduce類核心代碼
◆ Hadoop 核心代碼

模塊四
Hadoop安裝和部署
◆ Hadoop系統模塊組件概述
◆ Hadoop試驗集群的部署結構
◆ Hadoop 安裝依賴關系
◆ Hadoop 生產環境的部署結構
◆ Hadoop集群部署
◆ Hadoop 高可用配置方法
◆ Hadoop 集群簡單測試方法
◆ Hadoop 集群異常Debug方法
◆ Hadoop安裝部署實驗
◆ Red hat Linux基礎環境搭建
◆ Hadoop 單機系統版本安裝配置
◆ Hadoop 集群系統版本安裝和啟動配置
◆ 使用 Hadoop MapReduce Streaming 快速測試系統
◆ Hadoopcore-site，hdfs-site，mapred-site 配置詳解

模塊五
Hadoop集群規劃
◆ Hadoop 集群內存要求
◆ Hadoop集群磁盤分區
◆ 集群和網絡拓撲要求
◆ 集群軟件的端口配置
◆ 針對NameNode Jobtracker DataNode TaskTracker Hiveserver 等不同組件需求推薦服務器配置

模塊六
MapReduce 算法原理
◆ Hadoop MapReduce 算法的原理和優化思想
◆ 靈活運用MapReduce 實現算法
◆ 運用MapReduce 構建數據庫算法
◆ Select Sort GrougBy Sum Count
◆ Join 新進流失算法
◆ 使用 Y-Smart 快速轉換SQL 為MapReduce 代碼

模塊七
編寫MapReduce高級程序
◆ 使用 Hadoop MapReduce Streaming 編程
◆ MapReduce流程　　　　?
◆ 剖析一個MapReduce程序
◆ 基本MapReduceAPI概念?
◆ 驅動代碼 Mapper、Reducer
◆ Hadoop流
◆ API 使用Eclipse進行快速開發　　　　　　　
◆ 新MapReduce API
◆ MapReduce的優化
◆ MapReduce的任務調度
◆ MapReduce編程實戰
◆ 如何利用其他Hadoop相關技術，包括Apache Hive， Apache Pig，Sqoop和Oozie等
◆ 滿足解決實際數據分析問題的高級Hadoop API
◆ Hadoop Streaming 和 Java MapReduce Api 差異。
◆ MapReduce 實現數據庫功能
◆ 利用Combiners來減少中間數據
◆ 編寫Partitioner來優化負載平衡
◆ 直接訪問Hadoop分布式文件系統（HDFS）
◆ Hadoop的join操作
◆ 輔助排序在Reducer方的合并
◆ 定制Writables和WritableComparables
◆ 使用SequenceFiles和Avro文件保存二進制數據
◆ 創建InputFormats OutputFormats
◆ Hadoop的二次排序
◆ Hadoop的海量日志分析
◆ 在Map方的合并　　?

模塊八
集成Hadoop到現有工作流
及Hadoop API深入探討
◆ 存儲系統
◆ 利用Sqoop從關系型數據庫系統中導入數據到Hadoop
◆ 利用Flume導入實時數據到Hadoop
◆ ToolRunner介紹、使用MRUnit進行測試
◆ 使用Configure和Close方法來進行Map/Reduce設置和關閉
◆ 使用FuseDFS和Hadoop訪問HDFS
◆ 使用分布式緩存（Distributed Cache）
◆ 直接訪問Hadoop分布式文件系統（HDFS）
◆ 利用Combiners來減少中間數據
◆ 編寫Partitioner來優化負載平衡

模塊九
使用Hive和Pig開發及技巧
◆ Hive和Pig基礎　　　　　　?
◆ Hive的作用和原理說明
◆ Hadoop倉庫和傳統數據倉庫的協作關系
◆ Hadoop/Hive倉庫數據數據流
◆ Hive 部署和安裝
◆ Hive Cli 的基本用法
◆ HQL基本語法
◆ 運用Pig 過濾用戶數據?
◆ 使用JDBC 連接Hive進行查詢和分析
◆ 使用正則表達式加載數據
◆ HQL高級語法
◆ 編寫UDF函數
◆ 編寫UDAF自定義函數
◆ 基于Hive腳本內嵌Streaming 編程

模塊十
Hbase安裝和使用
◆ Hbase 安裝部署　　　　　?
◆ Hbase原理和結構
◆ Hbase 運維和管理
◆ 使用Hbase+Hive 提供 OLAP SQL查詢能力
◆ 使用Hbase+Phoenix提供 OLTP SQL能力
◆ 基于Hbase 的時間序列數據庫 OpenTsDb 結構解析

模塊十一
Hadoop2.0 集群探索
◆ Hadoop2.0 HDFS 原理
◆ Hadoop2.0 Yarn 原理
◆ Hadoop2.0 生態系統
◆ 基于Hadoop2.0 構建分布式系統

模塊十二
Hadoop企業級別案例解析
◆ Hadoop 結構化數據案例
◆ Hadoop 非結構化案例
◆ Hbase 數據庫案例
◆ Hadoop 視頻分析案例
◆利用大數據分析改進交通管理
◆區域醫療大數據應用案例
◆銀聯大數據數據票據詳單平臺
◆廣東移動省公司請賬單系統
◆上海電信網絡優化
◆某通信運營商全國用戶上網記錄
◆浙江臺州市智能交通系統
◆移動廣州詳單實時查詢系統
◆ 跨區域實時視頻監控系統

模塊十三
RedHadoop 企業版本
◆ 運用RedHadoop快速構建服務集群
◆ 運用RedHadoop DW 構建數據倉庫
◆基于RedHadoop Hive構建數據倉庫平臺
◆靈活運用 Hive 加速游戲數據倉庫
◆基于Pig+OpenCV大規模圖像人臉識別

模塊十四
Spark原理和入門
◆ Spark原理；Spark的架構圖；Spark運行模式介紹
◆ —local；—standalone；—messos；—yarn；Spark的RDD
◆ 什么是RDD；RDD的種類；—Tranformation；—Action
◆ Spark的存儲級別；Cache介紹；Spark的容錯原理
◆ Lineage容錯；Checkpoint容錯；RDD的創建
◆ 案例—統計單詞的個數