VMware + Ubuntu18.04 搭建Hadoop集群环境的图文教程

前言

本次教程是基于学校的大数据实验而做的，博主在搭建的同时，记录了自己的命令运行结果截图，在图书馆搭建环境+写博客，也花了将近3个小时。长时间眼睛对着电脑会很伤眼睛，所以童鞋们需要注意保护好眼睛，做做眼保健操。希望学到的童鞋可以点个赞！

---

vmware克隆虚拟机（准备工作，克隆3台虚拟机，一台master,两台node）

1. 先在虚拟机中关闭系统
2. 右键虚拟机，点击管理，选择克隆
   

3.点击下一步，选择完整克隆，选择路径即可

---

1.创建hadoop用户(在master,node1,node2执行)

顺序执行以下命令即可

1.创建hadoop用户

设置用户密码（输入两次）

添加权限

切换到hadoop用户(这里要输入刚刚设置的hadoop密码)

运行截图展示(以master虚拟机为例)

---

2.更新apt下载源(在master,node1,node2执行)

截图展示(以master为例)

3. 安装ssh、配置ssh免密登录 (在master,node1,node2执行)

1.安装ssh

2.配置ssh免密登录

3.验证免密

截图展示(以master为例)

---

4.安装java环境 (在master,node1,node2执行)

1.下载 jdk 环境包

2.配置环境变量文件

3.在文件首行加入

4,。让环境变量生效

5.验证

截图展示(以master为例)

修改主机名(在master,node1,node2执行)

1.将文件中原有的主机名删除，master中写入master,node1中写入node1,node2…（同理）

重启三个服务器

重启成功后，再次连接会话，发现主机名改变了

截图展示(以node1为例)

---

修改ip映射(在master,node1,node2执行)

查看各个虚拟机的ip地址

如果有报错，则下载 net-tools ,然后再运行即可看到

如下图，红色方框内的就是 本台虚拟机的 ip 地址

3台虚拟机中都需要在 hosts 文件中加入对方的ip地址

以master为例截图展示

---

ssh免密登录其他节点（在master上执行）

在master上执行

在node1，node2都执行

验证免密登录

以master为例截图展示

---

安装hadoop3.2.1（在master中执行）

有些镜像的下载网址失效了，这里贴出官网的下载地址。

下载网址：

下载好，之后通过vmware-tools上传到master的/home/hadoop中

解压

验证

---

配置hadoop环境(这一步需要很仔细)

配置环境变量

在首行中写入

使得配置生效

创建文件目录（为后面的xml做准备）

配置hadoop的java环境变量

两个的首行都写入

(master中)配置nodes

删除掉原有的localhost,因为我们有2个node,就把这2个的名字写入

配置 core-site.xml

因为我们只有一个namenode,所以用fs.default.name，不采用fs.defalutfs

其次确保/usr/local/hadoop/tmp这个目录存在

配置 hdfs-site.xml

dfs.namenode.secondary.http-address确保端口不要和core-site.xml中端口一致导致占用

确保/usr/local/hadoop/dfs/name :/usr/local/hadoop/dfs/data 存在

因为我们只有2个node，所以dfs.replication设置为2

配置mapred-site.xml

配置 yarn-site.xml

将hadoop压缩

复制到node1中

复制到node2中

在node1、node2上执行
解压

首次启动需要先在 master 节点执行 namenode 的格式化，之后不需要

（注意:如果需要重新格式化 namenode ，才需要先将原来 namenode 和 datanode 下的文件全部删除！！！！！！！！！）

---

启动 （在master上执行）

master中，出现warning不影响

运行截图展示

---

关闭hadoop集群（在master上执行）

运行截图展示

---

总结

搭建环境是一件比较耗时的操作，自己亲手搭一遍，可能其中会遇到很多问题，比如说linux的命令不熟悉，各种报错，运行结果不对等，但是这些一般都可以在网上搜索到对应的解决方法。学习新技术就是要勇于试错，然后归纳总结，这样子会形成自己的一套解决问题的逻辑框架思维，也可以增强知识框架的形成，加油！

到此这篇关于vmware + ubuntu18.04 搭建hadoop集群环境的图文教程的文章就介绍到这了,更多相关vmware ubuntu搭建hadoop集群内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！