Ansys|91国内精品视频|Matlab|91国内精品久久久|R语言培训课程班-91国内精品久久-曙海培训深圳成都南京苏州杭州

大數據處理與優化最佳實踐培訓
? 大數據處理與優化最佳實踐培訓
課程安排
?
?
主題
內容見要
第一部分
海量數據處理系統
的架構設計
這個部分主要講解海量數據處理的架構設計，針對海量數據的問題設計海量數據的架構解決方案。
???海量數據處理的系統場景
???大數據時代的數據架構解決方案
???海量數據處理的架構匯總
???8種海量數據處理的架構設計比較
???分布式系統架構的海量數據處理設計
???海量數據處理設計
典型案例分析：
NoSQL的實踐應用
??????? NoSQL綜述解決的實際問題
??????? 關系數據庫暴露的問題
n??High?performance并發要求
n??Huge?Storage的存取
n??High?Scalability的服務器分布要求
n??High?Availability的服務器健壯要求
??????? 關系型數據庫失效的場景
??????? NoSQL與關系型數據庫設計理念比較
??????? NoSQL設計模型分析
n??K-V模型的Column設計
n??Document模型的B?Tree設計
n??Object模型的基于Object數據訪問設計
??????? NoSQL實例分析
n??Apache?Hbase架構解析
n??Facebook?Cassandra架構解析
n??Google?BigTable架構解析
典型案例分析：
進入Hadoop的精彩世界
??????? 文件存儲-HDFS
??????? HDFS-工作原理
??????? 數據計算MapReduce
??????? MapReduce工作原理
??????? SQL分析-Hive
??????? 海量實時讀寫-HBase
??????? 工作流調度-Ooize
??????? 分布式協調系統—Zookeeper
第二部分
Hadoop部署與編程
??????? Hadoop版本介紹與選擇
??????? Hadoop部署實踐
??????? Hadoop安裝文件構成與配置體系
??????? 機器硬件建議配置
??????? 系統環境配置
??????? 基本參數配置與說明
??????? 進程分布規劃與啟動
??????? Hadoop基本使用操作
??????? HDFS
??????? 權限
??????? MapReduce
??????? HDFS編程
??????? 開發環境準備
??????? 讀文件
??????? 寫文件
??????? Hadoop系統容災策略
??????? Hadoop資源調度策略
??????? Hadoop安全
??????? Hadoop系統監控與報警策略
Hive架構及實踐案例沙盤演練
??????? Hive系統部署與搭建
??????? Hive工作機制
??????? 基于Hive的網站日志分析示例
??????? Hive的用戶自定義函數開發
??????? Hive底層數據文件與數據壓縮選擇
n??gzip
n??bz2
n??lzo
n??rcfile
??????? Hive運行參數調優
??????? Hive程序編寫性能建議
n??MapJoin
n??數據傾斜
n??Join順序
n??UDF編寫注意事項
n??快速獲取結果TopN
??????? 通過Explain觀察Hive行為
??????? 典型案例分析
第三部分
Hadoop集群架構搭建及實踐案例沙盤演練
??????? Hadoop集群架構搭建方法
??????? Hadoop集群架構性能管理
??????? HDFS，NameNode，DataNode的調優和節點擴展最佳實踐
??????? 主要調優工具和性能監控工具
??????? Hadoop集群對于硬件的要求和選型
??????? Hadoop集群中對硬件、操作系統的調優方法
??????? 實際案例分析
??????? 基于Hadoop的集群解決方案
??????? 典型案例分析：
MapReduce架構及實踐案例沙盤演練
??????? MapReduce剖析
n??MapReduce的原理和運行過程
n??構建MapReduce的開發環境
??????? MapReduce案例實戰
n??使用MapReduce的Java接口實現經典的WordCount
n??wordcount運行過程解析
n??MapReduce實現數據去重操作
n??MapReduce實現數據排序
n??MapReduce實現數據平均數據的計算
??????? 典型案例分析：
HBase架構及實踐案例沙盤演練
??????? 為什么實用Hadoop/HBase
??????? Hadoop的架構體系與HBase的應用關系
??????? HBase的核心設計機制
??????? HBase的使用場景？什么情況下使用HBase，為什么使用HBase，HBase使用帶來的實踐價值
??????? 關系型數據庫與HBase
??????? HBase的Client端
??????? HBase架構分析
??????? 基于HBase項目架構設計
??????? HBase開發環境搭建
??????? 入庫和查詢的設計與實現
??????? 統計功能的設計與實現
??????? 案例演練HBase的主體特性
n??Features:Scalability實現
n??HBaseFeatures:Column-Oriented實現
n??High?Performance?Random?R/W實現
n??HBase?Features:?Scan?Search實現
n??HBase?Features:?High‐Availability實現
典型案例分析：