第一部份:實(shí)時(shí)計(jì)算平臺(tái)介紹
介紹實(shí)時(shí)系統(tǒng)主要解決的業(yè)務(wù)問(wèn)題和面臨的挑戰(zhàn);
簡(jiǎn)要介紹實(shí)時(shí)平臺(tái)的主要組件和構(gòu)成,實(shí)時(shí)數(shù)據(jù)的收集通道和數(shù)據(jù)交互方式
實(shí)時(shí)數(shù)據(jù)核心組件Flume、Kafka的介紹,以及Storm在整個(gè)平臺(tái)中所處的位置;
分享部分典型互聯(lián)網(wǎng)公司實(shí)時(shí)平臺(tái)的架構(gòu),如大眾點(diǎn)評(píng)、美團(tuán)、一號(hào)店等
第二部份:Storm基本概念和組件介紹
Storm的基本組件:Nimbus、Supervisor、Worker、 Executor和Task的基本介紹;
集群組成:通常一個(gè)線上集群的如何構(gòu)成;
Storm的可靠性:Storm如何保證可靠性以及數(shù)據(jù)的準(zhǔn)確性;
Storm的數(shù)據(jù)分組和其他特性介紹;
第三部份:Storm集群部署和配置
Storm的依賴組件介紹;
Storm的部署軟硬件環(huán)境要求;
部署ZooKeeper
部署Storm到各個(gè)機(jī)器節(jié)點(diǎn)
配置Storm相關(guān)參數(shù),以及核心參數(shù)介紹;
啟動(dòng)Storm相關(guān)進(jìn)程;
Storm的守護(hù)進(jìn)程;
提交Topology的過(guò)程介紹。
第四部份:Storm基本應(yīng)用的開(kāi)發(fā)
Storm的應(yīng)用開(kāi)發(fā)和調(diào)試過(guò)程介紹,包括:
提交示例Topology到集群;
項(xiàng)目代碼本地開(kāi)發(fā)環(huán)境配置和依賴;
代碼編譯和打包以及注意事項(xiàng);
本地代碼調(diào)試過(guò)程;
線上Topology提交過(guò)程和問(wèn)題分析。
第五部份:Storm Nimbus和Supervisor深入剖析
Nimbus功能介紹和啟動(dòng)Nimbus服務(wù)過(guò)程分析;
Nimbus服務(wù)的執(zhí)行過(guò)程剖析;
分配Executor的算法;
調(diào)度器介紹;
默認(rèn)調(diào)度器DefaultScheduler和均衡調(diào)度器EvenScheduler邏輯分析;
Supervisor數(shù)據(jù)結(jié)構(gòu)分析;
Supervisor的執(zhí)行過(guò)程詳解。
第六部份:Storm Worker、Executor和Task深入分析
Worker的數(shù)據(jù)結(jié)構(gòu)和架構(gòu);
Worker中的數(shù)據(jù)流分解;
創(chuàng)建Worker的過(guò)程;
Executor的創(chuàng)建過(guò)程;
創(chuàng)建Spout的Executor的過(guò)程和邏輯;
創(chuàng)建Bolt的Executor的過(guò)程和邏輯;
Task的創(chuàng)建過(guò)程;
Ack的原理介紹;
Acker Bolt的實(shí)現(xiàn)。
第七部份:Storm運(yùn)維和監(jiān)控
主機(jī)信息監(jiān)控;
日志和監(jiān)控;
Storm UI和NimbusClient的使用;
Storm Metric的使用;
Storm ZooKeeper的目錄詳解和功能分析;
Storm Hook的使用。
第八部份:Storm的擴(kuò)展和二次開(kāi)發(fā)
Storm UI原生功能介紹和數(shù)據(jù)含義;
Storm UI新功能需求實(shí)現(xiàn);
Storm的Thrift接口介紹;
資源隔離方案簡(jiǎn)介;
基于CGroup的資源隔離的實(shí)現(xiàn);
使用Docker運(yùn)行Storm集群介紹。
第九部份:Storm的實(shí)際應(yīng)用案例分享
實(shí)時(shí)DAU計(jì)算實(shí)現(xiàn);
實(shí)時(shí)用戶畫(huà)像;
實(shí)時(shí)個(gè)性化推薦;
廣告投放的精準(zhǔn)化
第十部份:Storm使用經(jīng)驗(yàn)和性能優(yōu)化
使用經(jīng)驗(yàn);
性能優(yōu)化建議;
自定義metric和性能數(shù)據(jù)收集
第十一部份:其他實(shí)時(shí)平臺(tái)介紹
JStorm介紹;
Spark Streaming介紹;
Heron介紹;
Flink介紹;
Storm和其他實(shí)時(shí)流處理框架的功能和性能對(duì)比 |