Linux之大数据集群部署

        这篇文章小菌来为大家分享如何在linux环境下进行大数据集群的部署。

一.新增linux系统

1.克隆虚拟机

        

2.更改系统的mac地址

        vim /etc/udev/rules.d/70-persistent-net.rules

3.更改网卡信息

        vim /etc/sysconfig/network-scripts/ifcfg-eth0

4.重启系统生效

        reboot
        重启后再重启网卡,查看当前的网卡信息，把HWADDR那一行的信息删除并把IPADDR那一行的ip修改成自己定义的ip,保存退出。

        修改完毕,可以再次查看修改过的网卡信息。ip显示为自己自定义的即操作成功!

二.3台机器关闭防火墙

内网环境安全性比较高,防火墙开启会影响效率,所以关闭防火墙
克隆的三台机器执行以下的命令(root用户来执行)

    #  查看防火墙的状态
    service iptables status
     
    #  启动防火墙的服务
    service iptables start
    
    #  关闭防火墙服务
    service iptables stop

    #  彻底关闭防火墙
    chkconfig iptables off
    

三.3台机器关闭selinux

vim /etc/selinux/config 修改selinux的配置文件

注意:重启后才会生效

四.3台机器更改主机名

vim /etc/sysconfig/network 修改系统配置文件里的主机名设定

注意:重启后才会生效

五.3台机器给ip地址起别名

vim /etc/hosts
设置见下图:

#  这里以小菌的三台虚拟机配置为例, 别名设置上尽量相似,后面使用到也方便。

192.168.100.111      hadoop001
192.168.100.112      hadoop002
192.168.100.113      hadoop003

六.SCP远程文件拷贝

scp 是远程文件拷贝命令

从本机拷贝文件至hadoop001(192.168.100.111)的根目录下
#   拷贝文件
    scp  文件名   hadoop001:/
    scp  文件名   192.168.100.111:/
#   拷贝目录          
    scp  -r  目录名 hadoop001:/
    scp  -r  目录名 192.168.100.111:/ 

七.SSH远程登录

1.使用 ssh 基于密码的远程登录

命令	含义
ssh ip地址	远程登录到指定服务器上(必须知道正确的密码)

• 在第三台机器上登录到第二台机器
  
• 细节:首次远程登录会询问yes/no,以后就不会了

2.使用 ssh 基于密匙实现免密码登录(掌握)

        ①ssh-****** + 三个回车 在hadoop001，hadoop002，hadoop003 上面分别执行命令,产生公钥和私钥
        ②ssh-copy-id hadoop01 将公钥拷贝到hadoop1上面去，以此类推…把公钥拷贝到其他虚拟机上。

        配置完成之后,就可以使用ssh 免密登录到其他虚拟机上了。

        注意:
        ①第一次拷贝的时候需要输入指定虚拟机的密码,另外在拷贝除了自身虚拟机公钥的时候,需要在/root/.ssh/目录下执行操作。
        ②想要查看当前虚拟机可以被哪些虚拟机免密登录,可以vim /root/.ssh/authorized_keys查看。

八.总结

        大数据集群部署过程比较繁琐,第一次接触的小伙伴们还是需要勤加练习。当然，也不必担心自己学不好大数据,小菌每天都会更博,有什么问题可以在下方评论区积极留言,小菌会尽力帮助到大家的。这次的分享就到这里了，认为有用的小伙伴们不要忘了点赞加关注呀(<ゝω・)☆