Spark环境搭建+编译部署+IDEA开发

一、准备工作：

CentOS镜像：http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso

二、用VMware搭建虚拟机集群

1.规划

master：1核、4G内存

slave1：1核、2G内存

slave2：1核、2G内存

2.搭建一个样板虚拟机

接下来进入安装，期间需设置语言、密码。

     

选择语言，我这里选择英文，您也可以下拉选择中文

等待数秒。。。

选择软件安装（重要）

这里给出中文翻译，参考选择

等待数秒，设置安装位置

点击一下就行

点进去自行设置密码、用户

完成，重启

然后

网络进去后在配置

————————————

3登录进入CentOS，进行相关配置

设置ip地址

注意：这里的ip，子网掩码，网关，DNS是根据我的笔记本电脑上的网络情况设定的，请您根据您的实际情况设置

这是我windows笔记本网络

设置主机名

a.打开终端，以root登录

[root@localhost spark]# vi /etc/sysconfig/network

       添加或修改:

          NETWORKING=yes

          HOSTNAME=slave3

b.

 

 

[root@localhost spark]# vi /etc/hosts

       添加：

192.168.1.191 master

192.168.1.192 slave1
192.168.1.193 slave2

（slave1、2 见下文）

关闭防火墙和SELinux（Hadoop和Spark运行时需要通过端口通信，关闭其就不会受到阻拦）

查看系统

[root@localhost spark]# rpm -q centos-release
centos-release-7-4.1708.el7.centos.x86_64

CentOS 7 查看防火墙状态

[root@localhost spark]# firewall-cmd --state
running

关闭并禁止开机启动防火墙

[root@localhost spark]# systemctl stop firewalld.service
[root@localhost spark]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost spark]# firewall-cmd --state
not running

关闭SELinux

[root@localhost spark]# vi /etc/selinux/config

       修改：SELINUX=disabled

重启

————————

更新OpenSSL（防止编译过程无法通过ssh连接节点）

[root@localhost spark]# yum update openssl

更改OpenSSL配置（确认使用RSA算法）

[root@localhost spark]# vi /etc/ssh/sshd_config

设置以下三项：

RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

 重启ssh

[root@localhost spark]# service sshd restart

下载安装scala

未完待续。。。