Spark之PySpark使用

1. 背景

1. Spark支持对多种编程语言的api，包括java、scala、python
2. 根据官方文档介绍，python其实是使用Spark框架最多的语言
3. Spark支持对python的shell，api

2. 环境配置

1. 在spark集群上安装python3， 版本必须是3.6以上

yum install -y python3

注意，安装好之后，使用python3 -V即可查看版本，python指令是指代python2版本的

2. 修改所有spark集群节点的环境变量

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PYSPARK_PYTHON=python3
export HADOOP_HOME=/doit/hadoop-3.2.1
export HADOOP_CONF_DIR=/doit/hadoop-3.2.1/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

3. 使用pyspark shell

./pyspark --master spark://linux101:7077 --executor-memory 1g --total-executor-cores 10

这个可执行文件就在spark安装目录的bin目录下

4. 配置Pycharm开发环境

注意，Pycharm的环境需要配置全局，还需要针对项目配置，否则也会报错
类似Idea中的这里，

1. 配置python环境
   
2. 配置pyspark依赖
   
   就是windows下spark安装包下pyspark下的2个文件，具体如截图所示
3. 配置环境变量
   

感谢网络资料提供者，尚硅谷和多易教育，在B站以及各自官网都提供了大数据课程视频以及对应资料。
在工作中按需学习，知识点确实会相对零散，现在回头补课，好好学习，温故知新。