Spark 单机环境配置
概要
大数据和人工智能已经宣传了好多年, hadoop 和 spark 也已经发布了很长时间, 一直想试试, 但是工作也遇不到使用的场景, 就一直拖着. 这次在极客时间上选了蔡元楠老师的《大规模数据处理实战》的课. 其中介绍了很多 spark 的内容, 就此机会, 也在虚拟机中配置了 spark 的单机环境.
一方面, 熟悉熟悉 spark 的用法; 另一方面, 虽然还没有接触到大数据分析的场景, 但是即使是了解了解 spark 中处理大数据的机制, api 的设计, 也可以开拓平时编程的思路.
spark 单机环境配置
我是 debian10 上配置的.
jdk 环境配置
jdk 使用的是 oracle 的标准 jdk1.8 版本, 国内从 oracle 官网上下载 jdk 非常慢, 推荐使用华为的 mirror:
下载后, 我是将其解压到 /usr/local 文件夹
$ wget https://mirrors.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz $ sudo tar zxvf jdk-8u202-linux-x64.tar.gz -c /usr/local
然后配置环境变量, 如果是 bash, 则配置 ~/.bashrc; 如果是 zsh, 则配置 ~/.zshenv
# java export java_home=/usr/local/jdk1.8 export path=$path:$java_home/bin
配置好之后, 通过如下命令检查是否安装配置成功:
$ java -version java version "1.8.0_202" java(tm) se runtime environment (build 1.8.0_202-b08) java hotspot(tm) 64-bit server vm (build 25.202-b08, mixed mode)
spark 环境配置
spark 安装也非常简单, 从官网上下载最新的 packagea, 我下载的最新版本如下:
$ wget http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz $ sudo tar zxvf spark-3.0.0-preview2-bin-hadoop2.7.tgz -c /usr/local
下载后同样, 也解压到 /usr/local 文件夹
spark 也需要配置相应的环境变量: (同配置 jdk 一样, 根据你使用的是 bash 还是 zsh, 配置环境变量到不同的文件中)
# spark export spark_home=/usr/local/spark export path=$path:$spark_home/bin
配置完成后, 在命令行输入如下命令看看是否能成功运行:
$ pyspark python 2.7.16 (default, oct 10 2019, 22:02:15) [gcc 8.3.0] on linux2 type "help", "copyright", "credits" or "license" for more information. 20/03/02 15:21:23 warn utils: your hostname, debian-wyb resolves to a loopback address: 127.0.1.1; using 10.0.2.15 instead (on interface enp0s3) 20/03/02 15:21:23 warn utils: set spark_local_ip if you need to bind to another address 20/03/02 15:21:23 warn nativecodeloader: unable to load native-hadoop library for your platform... using builtin-java classes where applicable using spark's default log4j profile: org/apache/spark/log4j-defaults.properties setting default log level to "warn". to adjust logging level use sc.setloglevel(newlevel). for sparkr, use setloglevel(newlevel). /usr/local/spark/python/pyspark/context.py:219: deprecationwarning: support for python 2 and python 3 prior to version 3.6 is deprecated as of spark 3.0. see also the plan for dropping python 2 support at https://spark.apache.org/news/plan-for-dropping-python-2-support.html. deprecationwarning) welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /__ / .__/\_,_/_/ /_/\_\ version 3.0.0-preview2 /_/ using python version 2.7.16 (default, oct 10 2019 22:02:15) sparksession available as 'spark'.
注 这里的 pyspark 使用的 2.x 版本的 python, 后续我们配置了 python 环境之后, 会在 python3 下开发
python 环境配置
debian10 系统中自带了 python2 和 python3 的环境, 为了不影响现有系统的默认环境, 我们安装 virtualenv 来使用 spark
首先, 安装 virtualenv, 并生成一个独立的 python3 环境
$ pip3 install virtualenv $ virtualenv py3-vm
启动 py3-vm, 并在其中安装 pyspark, 开发 spark 的示例
$ source ./py3-vm/bin/activate $ pip install pyspark $ pip install findspark
退出上面的 py3-vm, 使用如下命令:
$ deactive
spark 使用示例
上述环境都配置之后, 下面用一个简单的例子来尝试 spark 的 api 强大之处. 我们构造一个订单统计的例子:
- 数据源: csv 格式的订单文件, 每行 3 个信息, 订单号(不重复), 店铺名称, 订单金额
- 订单数统计: 按照店铺统计订单数
- 订单金额统计: 按照店铺统计订单金额
示例代码 (order_stat.py)
1 import findspark 2 3 findspark.init() 4 5 if __name__ == "__main__": 6 from pyspark.sql import sparksession 7 from pyspark.sql.functions import * 8 9 spark = sparksession\ 10 .builder\ 11 .appname('order stat')\ 12 .getorcreate() 13 14 lines = spark.read.csv("./orders.csv", 15 sep=",", 16 schema="order int, shop string, price double") 17 18 # 统计各个店铺的订单数 19 ordercounts = lines.groupby('shop').count() 20 ordercounts.show() 21 22 # 统计各个店铺的订单金额 23 shopprices = lines.groupby('shop').sum('price') 24 shopprices.show() 25 26 spark.stop()
测试用的 csv 文件内容 (orders.csv)
1,京东,10.0 2,京东,20.0 3,天猫,21.0 4,京东,22.0 5,天猫,11.0 6,京东,22.0 7,天猫,23.0 8,天猫,24.0 9,天猫,40.0 10,天猫,70.0 11,天猫,10.0 12,天猫,20.0
运行结果
$ python order_stat.py 20/03/02 17:40:50 warn utils: your hostname, debian-wyb resolves to a loopback address: 127.0.1.1; using 10.0.2.15 instead (on interface enp0s3) 20/03/02 17:40:50 warn utils: set spark_local_ip if you need to bind to another address 20/03/02 17:40:50 warn nativecodeloader: unable to load native-hadoop library for your platform... using builtin-java classes where applicable using spark's default log4j profile: org/apache/spark/log4j-defaults.properties setting default log level to "warn". to adjust logging level use sc.setloglevel(newlevel). for sparkr, use setloglevel(newlevel). +----|-----+ |shop|count| +----|-----+ |京东| 4| |天猫| 8| +----|-----+ +----|----------+ |shop|sum(price)| +----|----------+ |京东| 74.0| |天猫| 219.0| +----|----------+
上一篇: VBS怎么获取指定目录下的文件列表