欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python3实战Spark大数据分析及调度 学习 资源

程序员文章站 2022-06-17 09:07:43
Python3实战Spark大数据分析及调度 学习资源 一、实例分析 1.1 数据 student.txt 1.2 代码 二、代码解析 2.1函数解析 2.1.1 collect() RDD的特性 在进行基本RDD“转换”运算时不会立即执行,结果不会显示在显示屏中,collect()是一个“动作”运 ......

python3实战spark大数据分析及调度 学习资源

一、实例分析

1.1 数据 student.txt

Python3实战Spark大数据分析及调度 学习 资源

 

 

1.2 代码

Python3实战Spark大数据分析及调度 学习 资源

 

 Python3实战Spark大数据分析及调度 学习 资源

 

 Python3实战Spark大数据分析及调度 学习 资源

 

 

二、代码解析

2.1函数解析

2.1.1 collect()

rdd的特性

Python3实战Spark大数据分析及调度 学习 资源

 

 

在进行基本rdd“转换”运算时不会立即执行,结果不会显示在显示屏中,collect()是一个“动作”运算,会立刻执行,显示结果。

2.1.2 reduce()
说明
reduce()函数会对参数序列中的元素进行累积。

语法
reduce(function, iterable[, initializer])

参数
function – 函数,有两个参数
iterable – 可迭代对象
initializer – 可选,初始参数
实例
说明:python3的内建函数移除了reduce函数,reduce函数放在functools模块
Python3实战Spark大数据分析及调度 学习 资源

 

 

2.1.3 type()

语法

class type(name, bases, dict)

参数
  • name – 类的名称。
  • bases – 基类的元组。
  • dict – 字典,类内定义的命名空间变量。
返回值

一个参数返回对象类型, 三个参数,返回新的类型对象。

实例

Python3实战Spark大数据分析及调度 学习 资源

Python3实战Spark大数据分析及调度 学习 资源

 

 

三、问题分析

Python3实战Spark大数据分析及调度 学习 资源

 

 

解析

1、检查拼写是否有误
2、检查缩进是否合规
3、检查()是否一一配对

四、实例 小练

4.1 数据 user_small

Python3实战Spark大数据分析及调度 学习 资源

 

 

4.2 用户上网记录统计(一行为一条记录).(用户:第3列)

Python3实战Spark大数据分析及调度 学习 资源

Python3实战Spark大数据分析及调度 学习 资源

 

 4.2用户流量统计。分别统计上行流量及下行流量并将结果各列以空格键隔开输出到文件。(用户:第3列;上行流量:第25列;下行流量:第26列)

Python3实战Spark大数据分析及调度 学习 资源

 

 

4.3 统计用户总流量

Python3实战Spark大数据分析及调度 学习 资源

 

 

4.4、微信app流量统计。(微信app特征micromessenger,位于第20列,统计对应的下行流量值——第26列的数值。)

Python3实战Spark大数据分析及调度 学习 资源

 

 

谢谢观看。