开源力量公开课第49期：Spark——大数据时代的电光火石

开源力量公开课第49期课程题目：Spark——大数据时代的电光火石

形式： 线上公开课（免费）
直播地址：http://www.osforce.cn/openclass/65/show?id=iteye
开课时间：2014-04-01 20:00

课程背景：

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台。它立足于内存计算，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。

课程大纲：

1. spark简介：http://www.csdn.net/article/2013-07-08/2816149
2. scala语法介绍：函数式编程、闭包、几个关键的函数:map 和flatmap
3. spark的关键组件：master、worker、sparkContext（client）
4. 4种rdd：输入rdd、转化rdd、缓存rdd、行动rdd（只有最后一种才会进行计算）
5. 一个wordcount例子：解释刚才讲过的rdd，图例解释DAG的概念
6. stage的概念：stage存在的意义、stage和依赖的关系、什么是数据的pipeline
7. 两种Task：Task的提交与执行
8. 计算结果

讲师介绍：

白硕，从事该领域开发八年，经验丰富，具有丰富的通讯技术实践经验。

更多公开课：http://www.osforce.cn/?id=iteye