課程大綱： Cloudera數據分析師培訓
1.Hadoop基礎知識 ●Hadoop動機 ●Hadoop概覽 ●數據存儲：HDFS ●分布式數據處理：
YARN、MapReduce和Spark ●數據處理與分析：Pig、Hive和Impala ●數據集成：Sqoop ●其它的Hadoop數據工具 ●練習分析場景說明
2.Pig簡介 ●Pig是什么 ●Pig的特點 ●Pig使用案例 ●與Pig的交互
3.Pig基本數據分 ●PigLatin語法 ●加載數據 ●簡單數據類型 ●字段定義 ●數據輸出 ●架構查看 ●數據篩選和排序 ●常用函數
4.使用Pig處理復雜的數據 ●數據存儲格式 ●復合/嵌套數據類型 ●數據分組 ●復雜數據內置函數 ●遍歷分組數據
5.Pig多數據集操作 ●數據集合并技術 ●在Pig中聯接數據集 ●集合運算 ●拆分數據集
6.Pig故障診斷和性能優化 ●Pig故障排除 ●日志 ●使用Hadoop的WebUI ●數據采樣及調試 ●性能概述 ●了解執行計劃 ●提高Pig作業性能的技巧
7.Hive和Impala簡介 ●什么是Hive ●什么是Impala ●為什么使用Hive和Impala ●架構和數據存儲 ●Hive及Impala與傳統數據庫的比較 ●Hive使用案例
8.使用Hive和Impala進行數據查詢 ●數據庫和表 ●基本的Hive和Impala查詢語言語法 ●
數據類型 ●使用Hue來執行查詢 ●使用Beeline（HiveShell） ●使用ImpalaShell
9.Hive及Impala數據管理 ●數據存儲 ●創建數據庫和表 ●加載數據 ●修改數據庫和表 ●
使用視圖簡化查詢 ●存儲查詢結果10.數據存儲和性能 ●對表進行分區 ●分區表的數據加載 ●
何時使用分區 ●文件格式的選取 ●使用Avro及Parquet文件格式
11.使用Hive和Impala進行關系數據分析 ●連接數據集 ●常見的內置函數 ●聚合和窗口函數
12.復雜數據類型 ●在Hive里使用復雜數據 ●在Impala里使用復雜數據
13.使用Hive及Impala分析文本數據 ●在Hive及Impala里使用正則表達式 ●在Hive里通過SerDe加載處理文本 ●情感分析及n-gram
14.Hive優化 ●了解查詢性能 ●Bucketing（分桶） ●索引數據 ●HiveonSpark
15.Impala優化 ●Impala如何執行查詢 ●改善Impala性能
16.擴展Hive及Impala ●使用SerDe加載特殊格式文件 ●通過定制腳本來轉換數據 ●用戶自定義函數 ●參數化查詢
17.選擇好工具 ●比較Pig、Hive、Impala和關系數據庫該選擇哪一個
加入高級會員獲得助教答疑
