欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop(1)——Hadoop基础环境搭建

程序员文章站 2024-03-23 08:27:04
...

大家好,我是一名大一的学生,身为一个刚刚开始接触Hadoop的小白,写博客的主要目的是为了巩固自己在老师那里所学到的一些知识,并且分享自己的知识,希望能帮到一些跟我一样刚接触Hadoop的学者。好笔记不如烂笔头,这是一个从零到一的过程,一起加油吧~

百度是最好的老师,这里的安装过程不加赘述,可以百度,在CSDN搜索等等……
1、我们需要安装好15版本的虚拟机
提取码:a92y
2、准备好iso镜像文件,在这里我选用centOS7:
下载
3、创建3台新的虚拟机,选用下载好的centOS7镜像文件
4、网络改为桥接模式
5、虚拟机内存可以根据自己真实电脑的内存来设置,推荐把虚拟机内存设置为2G
6、硬盘40G。虚拟机是弹性的硬盘,不用担心占用空间。
7、主机名改成自己喜欢的,因为后面要用到三台虚拟机。我设置的是bigdata1,2,3
8、设置好后,开启虚拟机,安装步骤百度。
------都说图形化界面不好用,身为一个初学者,老师还是让我们先使用图形化界面。
为了方便以后的学习,可以先关闭真实电脑的防火墙~~

安装好虚拟机和centOS7后,打开虚拟机,root用户登录
三台虚拟机都需要同样操作
三台虚拟机都需要同样操作
三台虚拟机都需要同样操作
1、修改主机名hostnamectl set-hostname [YOUR NEW HOSTNAME]修改主机名,可以输入【hostname】查看是否修改成功,成功后这里会变
Hadoop(1)——Hadoop基础环境搭建
2、修改IP
在真实电脑win+r键打开运行窗口,输入cmd,使用ipconfig查看IP地址信息。
在虚拟机打开终端,输入
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33
修改配置文件,按【i】编辑,编辑完毕按【esc】,shift+: 输入wq保存退出。(q!是不保存退出)
Hadoop(1)——Hadoop基础环境搭建

GATEWAY是网关。
注意修改三台虚拟机的ip地址时,ip的前三个网段必须保持一致,最后一个网段可以任意改,但是不要改成和真是电脑ip一样。如真实电脑ip是192.168.1.1,那虚拟机ip可以改为192.168.1.2

输入【ip a】或者【ip addr】或者【ping -c 4 +ip】查看是否连通
3、修改hosts

vi /etc/hosts #编辑hosts文件

在文件尾部加上三台虚拟机的地址+主机名,如:

192.168.1.1 bigdata1
192.168.1.2 bigdata2
192.168.1.3 bigdata3

4、关闭虚拟机防火墙

systemctl stop firewalld.service #关闭防火墙服务
systemctl disable firewalld.service #禁止防火墙开机启动

5、NTP服务器设置,用于时间同步

yum -y install ntp #从yum源安装ntp服务

然后编辑NTP配置

vim /etc/ntp.conf

第一台虚拟机中在原有server开头的行前加#注释掉,并且在下面新增以下内容

server ntp.sjtu.edu.cn iburst
server +ip地址
fudge +ip地址 stratum 8

注意:在操作另外两台虚拟机时,只需要注释掉server开头的行,并且只添加一行主服务器地址即可,如下:

server +主机名 + iburst
server bigdata1 iburst

启动NTP服务

/usr/sbin/ntpd

可以在从机上,查看时间同步是否成功

ntpq -p

6、无密码登录

安装ssh

yum install openssh-* -y #从yum源安装ssh服务

创建ssh文件

mkdir  /root/.ssh

编辑文件

vim /root/.ssh/config

写入如下代码:

StrictHostKeyChecking=no
UserKnownHostsFile=/dev/null

三台虚拟机配置完后,都要启动服务

/usr/sbin/sshd 

第一次启动时,会提醒你缺少**,手动生成即可

ssh-****** -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key -N ""#生成ecdsa**
ssh-****** -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key #生成rsa**

生成密码后,再启动一次,看是否成功,在ps –ef中查询一下ssh服务

ps -ef|grep sshd #查询ssh服务线程

先在1号机上生成公钥

ssh-****** -t rsa -f /root/.ssh/id_rsa #对root用户生成**

中间会确认几次直接回车即可
——————————————
将证书发送到3台机上

ssh-copy-id bigdata1
ssh-copy-id bigdata2
ssh-copy-id bigdata3

测试:用1号机的ip ssh登录其他主机 ,看能否无密登录,都可以则成功。另两台同样测试

ssh bigdata2
ssh bigdata3

OK,今天的学习到此为止,初次发表,多有疏漏,望君指正。
QQ1148824675一起学习~