近年來,大數(shù)據(jù)分析逐漸火熱,成為提升企業(yè)競爭力的重要手段。由于傳統(tǒng)關系型數(shù)據(jù)庫有難以擴展的弱點,以Hadoop為主流的新興分布式集群解決方案逐漸擊敗傳統(tǒng)數(shù)據(jù)庫,成為大數(shù)據(jù)分析領域的霸主。在煉數(shù)成金的基礎課程《Hadoop數(shù)據(jù)分析平臺》里,對Hadoop的兩大支柱技術HDFS和Map-Reduce以及Hadoop生態(tài)圈的各個子產(chǎn)品作了詳細的介紹和學習。
我們致力于向?qū)W員描畫若干真正的企業(yè)級數(shù)據(jù)分析項目的全貌,我們會分別站在甲方——需求者,乙方團隊——數(shù)據(jù)架構師、算法設計師、IT系統(tǒng)架構師、開發(fā)工程師等多個角色的角度來審視項目整個過程,向大家展示項目的業(yè)務背景,數(shù)據(jù)建模,算法設計,集群設計和部署,系統(tǒng)開發(fā)編碼等過程的全貌,使大家有親歷其境的感覺,猶如自己身處于項目團隊之中,熟悉大數(shù)據(jù)分析項目的完成工序。無論你的個人目標是何種角色,都能在課程中有所收獲。
本課程覆蓋互聯(lián)網(wǎng),電子商務,電信運營商,金融行業(yè),地理位置應用等多個領域,每一次課就是一個獨立的項目,這些實戰(zhàn)內(nèi)容將可以使大家在基礎課程之后,更加理解Hadoop在實際中是如何使用,同時吸取跨行業(yè)的項目知識經(jīng)驗,對將來的個人發(fā)展將大有裨益。
第1節(jié) Hadoop基礎回顧
第2節(jié) Hadoop應用情況綜述
第3節(jié) 巨型網(wǎng)站日志系統(tǒng)分析,提取KPI數(shù)據(jù)(Map-Reduce)
第4節(jié) 電信運營商LBS應用,分析手機用戶移動軌跡(Map-Reduce)
第5節(jié) 電信運營商用戶分析,通過通話指紋判斷重入網(wǎng)用戶(map-Reduce)
第6節(jié) 電子商務推薦系統(tǒng)設計(Map-Reduce)
第7節(jié) 更復雜的推薦系統(tǒng)場景(Mahout)
第8節(jié) 社交網(wǎng)絡,判斷微博用戶關系親疏程度,發(fā)現(xiàn)社區(qū)(Pig)
第9節(jié) 在社交網(wǎng)絡中衡量節(jié)點的重要程度(Map-Reduce)
第10節(jié) 聚類算法應用,分析優(yōu)質(zhì)客戶(Map-Reduce,Mahout)
第11節(jié) 金融數(shù)據(jù)分析,從歷史數(shù)據(jù)中提取逆回購信息(Hive)
第12節(jié) 通過數(shù)據(jù)分析制定股票策略(Map-Reduce,Hive)
第13節(jié) GPS應用,簽到數(shù)據(jù)分析(Pig)
第14節(jié) Map-Reduce全排序?qū)崿F(xiàn)和優(yōu)化
第15節(jié) 中間件開發(fā),讓多個Hadoop集群協(xié)作起來 |