PyCharm搭建Spark开发环境的实现步骤
1.安装好jdk
下载并安装好jdk-12.0.1_windows-x64_bin.exe,配置环境变量:
- 新建系统变量java_home,值为java安装路径
- 新建系统变量classpath,值为 .;%java_home%\lib\dt.jar;%java_home%\lib\tools.jar;(注意最前面的圆点)
- 配置系统变量path,添加 %java_home%bin;%java_home%jrebin
在cmd中输入:java或者java -version,不显示不是内部命令等,说明安装成功。
2.安装hadoop,并配置环境变量
下载hadoop:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
- 解压hadoop-2.7.7.tar.gz特定路径,如:d:\adasoftware\hadoop
- 添加系统变量hadoop_home:d:\adasoftware\hadoop
- 在系统变量path中添加:d:\adasoftware\hadoop\bin
- 安装组件winutils:将winutils中对应的hadoop版本中的bin替换自己hadoop安装目录下的bin
3.spark环境变量配置
spark是基于hadoop之上的,运行过程中会调用相关hadoop库,如果没配置相关hadoop运行环境,会提示相关出错信息,虽然也不影响运行。
- 下载对应hadoop版本的spark:http://spark.apache.org/downloads.html
- 解压文件到:d:\adasoftware\spark-2.4.3-bin-hadoop2.7
- 添加path值:d:\adasoftware\spark-2.4.3-bin-hadoop2.7\bin;
- 新建系统变量spark_home:d:\adasoftware\spark-2.4.3-bin-hadoop2.7;
4.下载安装anaconda
anaconda集成了python解释器和大多数python库,安装anaconda 后不用再安装python和pandas numpy等这些组件了。下载地址。最后将python加到path环境变量中。
5.在cmd中运行pyspark,出现类似下图说明安装配置正常:
出现这种warning是因为jdk版本为12,太高了,但是不影响运行。没有影响。
6.在pycharm中配置spark
打开pycharm,创建一个project。然后选择“run” ->“edit configurations”–>点击+创建新的python configurations
选择 “environment variables” 增加spark_home目录与pythonpath目录。
- spark_home:spark安装目录
- pythonpath:spark安装目录下的python目录
选择 file->setting->你的project->project structure
右上角add content root添加:py4j-some-version.zip和pyspark.zip的路径(这两个文件都在spark中的python文件夹下)
保存即可
7.测试是否配置成功,程序代码如下,创建一个python程序放进去就可以:
import os import sys # path for spark source folder os.environ['spark_home'] = "d:\adasoftware\spark" # append pyspark to python path sys.path.append("d:\adasoftware\spark\python") try: from pyspark import sparkcontext from pyspark import sparkconf print("successfully imported spark modules") except importerror as e: print("can not import spark modules", e) sys.exit(1)
若程序正常输出: "successfully imported spark modules"就说明环境已经可以正常执行。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
推荐阅读