欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trid

程序员文章站 2022-04-20 20:28:37
...

对这个课程有兴趣的可以加我qq2059055336和我联系 Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金

对这个课程有兴趣的可以加我qq2059055336和我联系

Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?

课程大纲

1、Storm简介和课程介绍

2、Storm原理和概念详解

3、Zookeeper集群搭建及基本使用

4、Storm集群搭建及测试

5、API简介和入门案例开发

6、Spout的Tail特性、storm-starter及maven使用、Grouping策略

7、实例讲解Grouping策略及并发度

8、并发度详解、案例开发(高并发运用)

9、案例开发——计算网站PV

10、案例优化引入Zookeeper锁控制线程操作

11、计算网站UV(去重计算模式)

后续经典内容:

批处理事务详解

事务案例分析

事务案例实战开发

DRPC详解

DRPC实战开发

第二章 Storm Trident

Storm Trident 详解

Trident API深入

案例分析

实战案例开发

【运维篇】

配置参数、Storm命令等详解

集群统一启动和停止shell脚本开发

Storm集群和作业监控告警开发(可接告警平台)

课程中会穿插经验和技巧分享,常见场景解决方案分析等,可帮助学员迅速积累经验值。