mac本地搭建Spark

博主建议对于初学者本地先搭个spark环境玩玩，搭建非常容易，平时测试一个小demo非常方便。因为服务器一般情况是只有内部网才能进行访问的，有些时候很不方便。后续会介绍如何在生产服务器上搭建不同模式下的Spark集群。

安装jdk

这个就不详细介绍了，写程序的不会安装jdk那该考虑转行了。网上一搜一大堆。

安装scala

参考： Mac安装Scala

安装Spark

官网下载安装包：http://spark.apache.org/downloads.html

选择自己合适的版本下载

解压到指定的目录

tar -xzf spark-2.3.1-bin-hadoop2.7.tgz

配置环境变量（Mac是 ~/.bash_profile）

export SPARK_HOME=/Users/liubowen/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=${PATH}:${SPARK_HOME}/bin

source ~/.bash_profile

打开mac远程登录设置

系统偏好设置 => 共享 => 远程登录

启动
进入spark安装目录下sbin

./start-all.sh

jps查看有两个进程进程

Master
Worker

访问spark页面：http://localhost:8080/

安装成功

---

更多：Spark专栏
——————————————————————————————————
作者：桃花惜春风
转载请标明出处，原文地址：
https://blog.csdn.net/xiaoyu_BD/article/details/82703671
如果感觉本文对您有帮助，您的支持是我坚持写作最大的动力，谢谢！