欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Spark

程序员文章站 2022-05-01 16:53:37
1 部署 需要软件包 Jdk Python2.7 Scala2.10.4 Spark1.0.1 Hadoop stable version 配置依赖 org.apache.spark spark-core_2.10 1.0.1 .org.apache.hadoop hadoop-client 2核心 ......

1 部署

需要软件包 jdk python2.7 scala2.10.4 spark1.0.1 hadoop stable version 

配置依赖

org.apache.spark  spark-core_2.10 1.0.1

.org.apache.hadoop hadoop-client 

2核心概念

rdd 只读可分区的分布式数据集