欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

apache spark

程序员文章站 2022-07-06 10:12:45
基本介绍 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。 特点 Spark 主要有三个特点 : 首先,高级 API 剥离了对集群本身的关注,Spark 应用开发者可以专注于应用所要做的计算本身。 其次,Spark 很快,支持交互式计 ......

基本介绍

apache spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。

特点

spark 主要有三个特点 :
首先,高级 api 剥离了对集群本身的关注,spark 应用开发者可以专注于应用所要做的计算本身。
其次,spark 很快,支持交互式计算和复杂算法。
最后,spark 是一个通用引擎,可用它来完成各种各样的运算,包括 sql 查询、文本处理、机器学习等,而在 spark 出现之前,我们一般需要学习各种各样的引擎来分别处理这些需求。

性能特点

  • 更快的速度
  内存计算下,spark 比 hadoop 快100倍。
 
apache spark

 

   计算时间比较

  • 易用性
  spark 提供了80多个高级运算符。
  • 通用性
  spark 提供了大量的库,包括spark core、spark sql、spark streaming、mllib、graphx。 开发者可以在同一个应用程序中无缝组合使用这些库。
  • 支持多种资源管理器
  spark 支持 hadoop yarn,apache mesos,及其自带的独立集群管理器。
 

              spark的体系架构

apache spark

 

spark的安装部署:

安装部署
准备工作:安装linux、jdk等等

解压:tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -c ~/training/

由于spark的脚本命令和hadoop有冲突,只设置一个即可(不能同时设置)配置文件:/root/training/spark-2.1.0-bin-hadoop2.7/conf/spark-env.sh


=============伪分布: hadoop153============
修改配置文件:spark-env.sh

export java_home=/root/training/jdk1.8.0_144

export spark_master_host=hadoop153

export spark_master_port=7077

slaves
hadoop153

启动:sbin/start-all.sh
spark web console(内置tomcat:8080) http://ip:8080
==============================================

执行spark demo程序(hadoop153:伪分布上)

1、执行spark任务的工具
(1)spark-submit: 相当于 hadoop jar 命令 ---> 提交mapreduce任务(jar文件 )
提交spark的任务(jar文件 )

spark提供example例子:/root/training/spark-2.1.0-bin-hadoop2.7/examples/spark-examples_2.11-2.1.0.jar

执行如下命令:

示例:蒙特卡罗求pi(3.1415926******)

>bin/spark-submit --master  spark://hadoop153:7077 --class  org.apache.spark.examples.sparkpi  examples/jars/spark-examples_2.11-2.1.0.jar 200

apache spark

 

 得到结果:

apache spark

 

 

=============全分布:三台================
master节点: bigdata112

worker从节点:bigdata113 bigdata114


修改配置文件:spark-env.sh
export java_home=/root/training/jdk1.8.0_144
export spark_master_host=bigdata112
export spark_master_port=7077

slaves
bigdata113

bigdata114

复制到从节点上
scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata113:/root/training
scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata114:/root/training

在主节点上启动: sbin/start-all.sh