Hadoop是大數(shù)據(jù)平臺(tái)處理的框架的基石，尤其在海量數(shù)據(jù)的存儲(chǔ)HDFS、分布式資源管理和任務(wù)調(diào)度YARN及分布式計(jì)算框架MapReduce。現(xiàn)在Hadoop已經(jīng)在大中小企業(yè)中廣泛使用，Hadoop工程師的需求量也越來越大。
?
隨著Python在數(shù)據(jù)分析、大數(shù)據(jù)和人工智能的廣泛使用，越來越多的企業(yè)選擇使用Python來編寫Hadoop代碼，從而達(dá)到代碼的統(tǒng)一性。而目前市面上的Hadoop基本上是使用Java來寫的。為適應(yīng)更多企業(yè)的實(shí)際需求，特此推出Python大數(shù)據(jù)之Hadoop編程從入門到精通系列課程。
?
?
通過本課程的學(xué)習(xí)，學(xué)員可掌握Hadoop的架構(gòu)原理和使用場(chǎng)景，并通過貫穿課程的項(xiàng)目進(jìn)行實(shí)戰(zhàn)鍛煉，從而熟練使用Hadoop進(jìn)行MapReduce程序開發(fā)。課程還涵蓋了分布式計(jì)算領(lǐng)域的常用算法介紹，幫助學(xué)員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價(jià)值。
此外，學(xué)員還可以學(xué)習(xí)劉聲老師的另一個(gè)大數(shù)據(jù)課程《Python大數(shù)據(jù)之Spark編程從入門到精通》http://edu.51cto.com/course/12649.html?
課程目錄
一、Hadoop入門
hadoop介紹
二、Hadoop之HDFS
hadoop HDFS指令全解析
啟動(dòng)hadoop的方法與注意事項(xiàng)
?
三、Hadoop之MapReduce
Mapreduce -Python編程原理+實(shí)戰(zhàn)
在Hadoop集群中實(shí)際運(yùn)行MapReduce
【案例】使用Python編寫MapReduce代碼求最低溫度
【案例】分析好友交際關(guān)系
Hadoop中的Shuffle&Sort原理與應(yīng)用
?
四、多級(jí)MapReduce任務(wù)組合級(jí)聯(lián)
MRstep構(gòu)建多級(jí)MapReduce原理與實(shí)例
【案例】使用多級(jí)MapReduce分析城市年薪數(shù)據(jù)
?
五、Hadoop中Combiner的原理與應(yīng)用
Combiner的原理解析
多級(jí)MapReduce任務(wù)的combiner
【案例】使用combiner分析顧客數(shù)據(jù)
【案例】分析漫威漫畫英雄關(guān)系
【擴(kuò)展】Hadoop參數(shù)解析
?
六、企業(yè)大項(xiàng)目實(shí)戰(zhàn)：使用Hadoop構(gòu)建電影推薦引擎
電影相似度的數(shù)學(xué)原理——余弦相似度
【大項(xiàng)目】使用Python+Hadoop編寫電影推薦引擎代碼
合作伙伴與授權(quán)機(jī)構(gòu)
總部李老師
