Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trid
对这个课程有兴趣的可以加我qq2059055336和我联系 Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金
对这个课程有兴趣的可以加我qq2059055336和我联系
Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?
课程大纲
1、Storm简介和课程介绍
2、Storm原理和概念详解
3、Zookeeper集群搭建及基本使用
4、Storm集群搭建及测试
5、API简介和入门案例开发
6、Spout的Tail特性、storm-starter及maven使用、Grouping策略
7、实例讲解Grouping策略及并发度
8、并发度详解、案例开发(高并发运用)
9、案例开发——计算网站PV
10、案例优化引入Zookeeper锁控制线程操作
11、计算网站UV(去重计算模式)
后续经典内容:
批处理事务详解
事务案例分析
事务案例实战开发
DRPC详解
DRPC实战开发
第二章 Storm Trident
Storm Trident 详解
Trident API深入
案例分析
实战案例开发
【运维篇】
配置参数、Storm命令等详解
集群统一启动和停止shell脚本开发
Storm集群和作业监控告警开发(可接告警平台)
课程中会穿插经验和技巧分享,常见场景解决方案分析等,可帮助学员迅速积累经验值。