課程大綱： 大數(shù)據(jù)企業(yè)項目類友盟案例培訓
章節(jié)1
大數(shù)據(jù)企業(yè)項目第1章
第1節(jié)
01.業(yè)務(wù)模型說明
第2節(jié)
02.架構(gòu)描述
第3節(jié)
03.術(shù)語解釋-新增-活躍-用戶等等
第4節(jié)
04.初始化weblog收集模塊-公共模塊-配置模塊
第5節(jié)
05.初始化收集端模塊-編程模擬上傳json數(shù)據(jù)
第6節(jié)
06.通過firefox的poster插件測試web程序
第7節(jié)
07.創(chuàng)建client數(shù)據(jù)生成程序 不斷發(fā)送數(shù)據(jù)給server
第8節(jié)
08.client上傳log時，將client系統(tǒng)時間寫入request的header中
第9節(jié)
09.編寫工具類，使用內(nèi)省實現(xiàn)屬性復(fù)制
第10節(jié)
10.處理server收到的日志
章節(jié)2
大數(shù)據(jù)企業(yè)項目第2章
第1節(jié)
01.時間修正
第2節(jié)
02.屬性復(fù)制
第3節(jié)
03.通過GeoLite提取ip地址的真實區(qū)域
第4節(jié)
04.工具類封裝地理信息獲取
第5節(jié)
05.startuplog對象的地址設(shè)置
第6節(jié)
06.地理信息進行緩存處理
第7節(jié)
07.將日志信息轉(zhuǎn)換成json格式發(fā)送給kafka主題
第8節(jié)
08.準備kafka集群和zk集群并創(chuàng)建主題
第9節(jié)
09.啟動kakfa集群-web程序-phone程序測試數(shù)據(jù)收集
第10節(jié)
10.分析flume收集kafka消息-分區(qū)手段
第11節(jié)
11.自定義攔截器-添加logType和log創(chuàng)建時間的頭信息
第12節(jié)
12.導(dǎo)出flumejar文件部署到flume lib下
第13節(jié)
13.配置flume
第14節(jié)
14.添加自定義攔截器給配置文件
第15節(jié)
15.使用maven命令導(dǎo)出工件需要的所有第三方類庫
第16節(jié)
16.聯(lián)動測試-收集數(shù)據(jù)到hdfs
第17節(jié)
17.使用json serse作為hive表的串行化處理工具
章節(jié)3
大數(shù)據(jù)企業(yè)項目第3章
第1節(jié)
01.使用當前線程類加載解決公共模塊的加載問題
第2節(jié)
02.修改flume配置文件原生類型-避免大量小文件
第3節(jié)
03.使用腳本創(chuàng)建倉庫表
第4節(jié)
04.調(diào)度導(dǎo)入分區(qū)表數(shù)據(jù)分析
第5節(jié)
05.時間導(dǎo)入數(shù)據(jù)分析
第6節(jié)
06.使用sed編輯器處理時間問題
第7節(jié)
07.編寫exec.sh文件和exportData.sql文件
第8節(jié)
08.使用hive命令測試導(dǎo)入hdfs數(shù)據(jù)到hive分區(qū)表
第9節(jié)
09.修改手機端數(shù)據(jù)生成時間戳
第10節(jié)
10.實現(xiàn)調(diào)度周期導(dǎo)入hdfs數(shù)據(jù)到hive分區(qū)表
第11節(jié)
11.centos安裝tomcat
第12節(jié)
12.部署web程序到centos的tomcat下
第13節(jié)
13.分析統(tǒng)計用戶和新增用戶數(shù)
第14節(jié)
14.計算一天的起始和結(jié)束時間片
第15節(jié)
15.計算指定天所在的周和月的時間線
第16節(jié)
16.自定義UDF實現(xiàn)天起始和天結(jié)束時間提取
第17節(jié)
17.注冊UDF函數(shù)-測試
章節(jié)4
大數(shù)據(jù)企業(yè)項目第4章
第1節(jié)
01.DateUtil通過偏移量定位時間-統(tǒng)一時間訪問
第2節(jié)
02.注冊函數(shù)-測試函數(shù)-選定庫
第3節(jié)
03.查詢?nèi)招略?周新增-月新增-用戶總數(shù)
第4節(jié)
04.一次性統(tǒng)計一周內(nèi)每天的新增用戶
第5節(jié)
05.通過分區(qū)查詢?nèi)栈?月活-周活數(shù)
第6節(jié)
06.可視化web模塊初始化
第7節(jié)
07.添加hive-jdbcclient驅(qū)動到可視化模塊-測試
第8節(jié)
08.測試jdbc查詢hive的自定義函數(shù)
第9節(jié)
09.測試SSM連接查詢hive數(shù)據(jù)庫
第10節(jié)
10.關(guān)閉spring管理的事務(wù)-修改mybatis映射文件中大于小于比較符轉(zhuǎn)義處理
第11節(jié)
11.查詢指定的app今天新增用戶數(shù)
第12節(jié)
12.嵌套子查詢-查詢一周內(nèi)每天新增用戶
第13節(jié)
13.連接web的ui程序-測試
第14節(jié)
14.通過鏈接訪問新增用戶-提交job給hive-執(zhí)行查詢
第15節(jié)
15.dubbo概述
第16節(jié)
16.可視化web項目拆分-統(tǒng)計服務(wù)提供者模塊初始化
第17節(jié)
17.配置dubbo服務(wù)提供方-檢查zk
第18節(jié)
18.配置dubbo消費者方集成-1
章節(jié)5
大數(shù)據(jù)企業(yè)項目第5章
第1節(jié)
01.在hive使用using jar方式注冊hdfs上的庫函數(shù)
第2節(jié)
02.dubbo連接超時修改-消費者可視化程序測試
第3節(jié)
03.dubbo實現(xiàn)當前周內(nèi)每天新增用戶數(shù)
第4節(jié)
04.dubbo測試通過web可視化-provider-Hiveserver實現(xiàn)周內(nèi)用戶新增統(tǒng)計
第5節(jié)
05.改造dubbo模塊公共資源抽取
第6節(jié)
06.echart集成基礎(chǔ)
第7節(jié)
07.echart使用ajax訪問服務(wù)端數(shù)據(jù)-回傳回調(diào)-刷新echart圖表
第8節(jié)
08.echart集成json回傳數(shù)據(jù)-配置web程序
第9節(jié)
09.echart集成json-pom中json配置調(diào)整
第10節(jié)
10.echart動態(tài)刷新圖表-ajax訪問controller方法
第11節(jié)
11.過去五周周活躍用戶數(shù)-過去六月活躍用戶數(shù)
第12節(jié)
12.沉默用戶數(shù)
第13節(jié)
13.啟動次數(shù)
第14節(jié)
14.版本分布
第15節(jié)
15.本周回流用戶-1.版本分布
第16節(jié)
16.本周回流用戶-2sql實現(xiàn)
第17節(jié)
17.連續(xù)n周活躍-忠誠用戶-連續(xù)活躍用戶
第18節(jié)
18.近期流失用戶
第19節(jié)
19.留存用戶
第20節(jié)
20.新鮮度分析
章節(jié)6
大數(shù)據(jù)企業(yè)項目第6章
第1節(jié)
01.python-包-import-fromimport
第2節(jié)
02.python-爬蟲
第3節(jié)
03.python-爬蟲2
第4節(jié)
04.python-爬蟲3
第5節(jié)
05.python-集成hbase
第6節(jié)
06.spark使用python實現(xiàn)wordcount-lambda表達式
章節(jié)7
大數(shù)據(jù)企業(yè)項目第7章
第1節(jié)
01.分析spark streaming實現(xiàn)用戶行為的實時更新
第2節(jié)
02.編程實現(xiàn)DStream聚合-firstTime-lastTime
第3節(jié)
03.編程測試數(shù)據(jù)生成-聚合結(jié)果
第4節(jié)
04.聚合結(jié)果再分組-插入phoenix表中
第5節(jié)
05.聚合結(jié)果再分組-插入phoenix表中2
第6節(jié)
06.使用phoenix-core maven依賴
第7節(jié)
07.定義phoenix-udf函數(shù)
第8節(jié)
08.stat服務(wù)provider和phoenix交互查詢統(tǒng)計結(jié)果
第9節(jié)
09.自定義phoenix函數(shù)
章節(jié)8
大數(shù)據(jù)企業(yè)項目第8章
第1節(jié)
01.phoenix UDF定義
第2節(jié)
02.定義to_int函數(shù)將bigint轉(zhuǎn)換成integer(針對-1)
第3節(jié)
03.客戶單代碼測試udf函數(shù)
第4節(jié)
04.phoenix UDF投影列表達式處理
第5節(jié)
05.phoenix處理Day-week-month
第6節(jié)
06.phoenix處理Day-week-month2
第7節(jié)
07.phoenix查詢周新增用戶統(tǒng)計
第8節(jié)
08.phoenix查詢周活躍用戶
第9節(jié)
09.使用MR實現(xiàn)用戶畫像
第10節(jié)
10.知識點總結(jié)
第11節(jié)
11.簡歷指導(dǎo)
加入高級會員獲得助教答疑
