班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576( 微信同號) |
每期人數(shù)限3到5人。 |
上課時間和地點 |
上課地點:【上海】:同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】:電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】:北京中山學院/福鑫大樓 【南京分部】:金港大廈(和燕路) 【武漢分部】:佳源大廈(高新二路) 【成都分部】:領館區(qū)1號(中和大道) 【沈陽分部】:沈陽理工大學/六宅臻品 【鄭州分部】:鄭州大學/錦華大廈 【石家莊分部】:河北科技大學/瑞景大廈 【廣州分部】:廣糧大廈 【西安分部】:協(xié)同大廈
最近開課時間(周末班/連續(xù)班/晚班):2020年3月16日 |
實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
質量保障 |
1、培訓過程中,如有部分內(nèi)容理解不透或消化不好,可免費在以后培訓班中重聽;
2、培訓結束后,授課老師留給學員聯(lián)系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業(yè)機會。 |
課程大綱 |
|
- 大數(shù)據(jù)處理與優(yōu)化最佳實踐培訓
?
大數(shù)據(jù)處理與優(yōu)化最佳實踐培訓
課程安排
?
主題
內(nèi)容見要
第一部分
海量數(shù)據(jù)處理系統(tǒng)
的架構設計
這個部分主要講解海量數(shù)據(jù)處理的架構設計,針對海量數(shù)據(jù)的問題設計海量數(shù)據(jù)的架構解決方案。
???海量數(shù)據(jù)處理的系統(tǒng)場景
???大數(shù)據(jù)時代的數(shù)據(jù)架構解決方案
???海量數(shù)據(jù)處理的架構匯總
???8種海量數(shù)據(jù)處理的架構設計比較
???分布式系統(tǒng)架構的海量數(shù)據(jù)處理設計
???海量數(shù)據(jù)處理設計
典型案例分析:
NoSQL的實踐應用
???????
NoSQL綜述解決的實際問題
???????
關系數(shù)據(jù)庫暴露的問題
n??High?performance并發(fā)要求
n??Huge?Storage的存取
n??High?Scalability的服務器分布要求
n??High?Availability的服務器健壯要求
???????
關系型數(shù)據(jù)庫失效的場景
???????
NoSQL與關系型數(shù)據(jù)庫設計理念比較
???????
NoSQL設計模型分析
n??K-V模型的Column設計
n??Document模型的B?Tree設計
n??Object模型的基于Object數(shù)據(jù)訪問設計
???????
NoSQL實例分析
n??Apache?Hbase架構解析
n??Facebook?Cassandra架構解析
n??Google?BigTable架構解析
典型案例分析:
進入Hadoop的精彩世界
???????
文件存儲-HDFS
???????
HDFS-工作原理
???????
數(shù)據(jù)計算MapReduce
???????
MapReduce工作原理
???????
SQL分析-Hive
???????
海量實時讀寫-HBase
???????
工作流調度-Ooize
???????
分布式協(xié)調系統(tǒng)—Zookeeper
第二部分
Hadoop部署與編程
???????
Hadoop版本介紹與選擇
???????
Hadoop部署實踐
???????
Hadoop安裝文件構成與配置體系
???????
機器硬件建議配置
???????
系統(tǒng)環(huán)境配置
???????
基本參數(shù)配置與說明
???????
進程分布規(guī)劃與啟動
???????
Hadoop基本使用操作
???????
HDFS
???????
權限
???????
MapReduce
???????
HDFS編程
???????
開發(fā)環(huán)境準備
???????
讀文件
???????
寫文件
???????
Hadoop系統(tǒng)容災策略
???????
Hadoop資源調度策略
???????
Hadoop安全
???????
Hadoop系統(tǒng)監(jiān)控與報警策略
Hive架構及實踐案例沙盤演練
???????
Hive系統(tǒng)部署與搭建
???????
Hive工作機制
???????
基于Hive的網(wǎng)站日志分析示例
???????
Hive的用戶自定義函數(shù)開發(fā)
???????
Hive底層數(shù)據(jù)文件與數(shù)據(jù)壓縮選擇
n??gzip
n??bz2
n??lzo
n??rcfile
???????
Hive運行參數(shù)調優(yōu)
???????
Hive程序編寫性能建議
n??MapJoin
n??數(shù)據(jù)傾斜
n??Join順序
n??UDF編寫注意事項
n??快速獲取結果TopN
???????
通過Explain觀察Hive行為
???????
典型案例分析
第三部分
Hadoop集群架構搭建及實踐案例沙盤演練
???????
Hadoop集群架構搭建方法
???????
Hadoop集群架構性能管理
???????
HDFS,NameNode,DataNode的調優(yōu)和節(jié)點擴展最佳實踐
???????
主要調優(yōu)工具和性能監(jiān)控工具
???????
Hadoop集群對于硬件的要求和選型
???????
Hadoop集群中對硬件、操作系統(tǒng)的調優(yōu)方法
???????
實際案例分析
???????
基于Hadoop的集群解決方案
???????
典型案例分析:
MapReduce架構及實踐案例沙盤演練
???????
MapReduce剖析
n??MapReduce的原理和運行過程
n??構建MapReduce的開發(fā)環(huán)境
???????
MapReduce案例實戰(zhàn)
n??使用MapReduce的Java接口實現(xiàn)經(jīng)典的WordCount
n??wordcount運行過程解析
n??MapReduce實現(xiàn)數(shù)據(jù)去重操作
n??MapReduce實現(xiàn)數(shù)據(jù)排序
n??MapReduce實現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計算
???????
典型案例分析:
HBase架構及實踐案例沙盤演練
???????
為什么實用Hadoop/HBase
???????
Hadoop的架構體系與HBase的應用關系
???????
HBase的核心設計機制
???????
HBase的使用場景?什么情況下使用HBase,為什么使用HBase,HBase使用帶來的實踐價值
???????
關系型數(shù)據(jù)庫與HBase
???????
HBase的Client端
???????
HBase架構分析
???????
基于HBase項目架構設計
???????
HBase開發(fā)環(huán)境搭建
???????
入庫和查詢的設計與實現(xiàn)
???????
統(tǒng)計功能的設計與實現(xiàn)
???????
案例演練HBase的主體特性
n??Features:Scalability實現(xiàn)
n??HBaseFeatures:Column-Oriented實現(xiàn)
n??High?Performance?Random?R/W實現(xiàn)
n??HBase?Features:?Scan?Search實現(xiàn)
n??HBase?Features:?High‐Availability實現(xiàn)
典型案例分析:
?
?
"
|