欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

hadoop搭建的前期准备

程序员文章站 2022-11-06 22:07:07
这个hadoop的搭建是以比赛前的练习为目的的,所以我直接以root用户来搭建hadoop,主要也是方便我自己以后复习用的 需要的软件:vmware15.5,xshell6,xftp6,jdk Linux:centos7.4 1,创建主机 在虚拟机中用centos镜像创建3台主机,用于模拟之后的实验 ......

    这个hadoop的搭建是以比赛前的练习为目的的,所以我直接以root用户来搭建hadoop,主要也是方便我自己以后复习用的

  需要的软件:vmware15.5,xshell6,xftp6,jdk  linux:centos7.4

1,创建主机 

    在虚拟机中用centos镜像创建3台主机,用于模拟之后的实验。具体的创建方式就不说了

2,设置静态ip   

vi /etc/sysconf ig/network-scripts/ifcfg-ens33

修改ifcfg-ens33文件的内容,把“dhcp"修改成”static“,并添加ip地址,掩码和网关。

bootproto = static
ipaddr = 192.168.1.10
netmask = 255.255.255.0
geyway = 192.168.1.1
dns1 = 8.8.8.8

但是有一个问题,配置静态ip后我的dns失效了,以前也遇见过解决了,现在又忘了。

3,主机名修改

  centos7.4修改主机名有两种方法,都有重启后才生效

方法一
hostnamectl set-hostname master hostnamectl set-hostname slave1 hostnamectl set-hostname slave2
init 0
方法二
vi /etc/hostname
  master
init 0

4,主机映射

vi /etc/hosts
#(每台主机都要添加)
172.16.1.2    master
172.16.1.3    slave1
172.16.1.4    slave2

5,关闭防护墙

关闭iptables

systemctl enable iptables        #让iptables开机不自启
systemctl stop iptables  

关闭selinux

service selinux stop
vim /etc/sysconfig/selinux
selinux=enforcing 改为 selinux=disabled

关闭firewalld

service firewalld stop
setenforce 0

6,配置免密码登入

ssh-keygen            #生成密钥
都按回车健,默认无密码。
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

  每台主要都要操作一遍,先生成密钥

7,安装jdk

 先在官网上下载jdk,文件: 要注册oracle。然后使用xftp上传文件到root目录下。

先配置环境变量

vi /etc/profile
  export java_home=/usr/local/src/jdk
  export path=$path:java_home/bin
source /etc/profile                         #使环境变量生效

然后解压文件,重命名文件名(个人习惯)

tar zxf /root/jdk-jdk-8u144-linux-x64.tar.gz -c /usr/local/src/
cd /usr/local/src 
mv jdk1.8.0_144 jdk

最后就是验证jdk是否有用

java -version

    8,时间同步

  伪分布式的hadoop不用

  利用xshell的同时键入到所有的会话的功能发送命令

date               #查看当前的时间     
data -s "20191122 13:28:00"  #yyyymmdd hh:mm:ss

 

  最后:这个是我自己一直在用的方法,可能以后会有更好的