Hadoop(1)——Hadoop基础环境搭建
大家好,我是一名大一的学生,身为一个刚刚开始接触Hadoop的小白,写博客的主要目的是为了巩固自己在老师那里所学到的一些知识,并且分享自己的知识,希望能帮到一些跟我一样刚接触Hadoop的学者。好笔记不如烂笔头,这是一个从零到一的过程,一起加油吧~
百度是最好的老师,这里的安装过程不加赘述,可以百度,在CSDN搜索等等……
1、我们需要安装好15版本的虚拟机
提取码:a92y
2、准备好iso镜像文件,在这里我选用centOS7:
下载
3、创建3台新的虚拟机,选用下载好的centOS7镜像文件
4、网络改为桥接模式
5、虚拟机内存可以根据自己真实电脑的内存来设置,推荐把虚拟机内存设置为2G
6、硬盘40G。虚拟机是弹性的硬盘,不用担心占用空间。
7、主机名改成自己喜欢的,因为后面要用到三台虚拟机。我设置的是bigdata1,2,3
8、设置好后,开启虚拟机,安装步骤百度。
------都说图形化界面不好用,身为一个初学者,老师还是让我们先使用图形化界面。
为了方便以后的学习,可以先关闭真实电脑的防火墙~~
安装好虚拟机和centOS7后,打开虚拟机,root用户登录
三台虚拟机都需要同样操作
三台虚拟机都需要同样操作
三台虚拟机都需要同样操作
1、修改主机名hostnamectl set-hostname [YOUR NEW HOSTNAME]修改主机名
,可以输入【hostname】查看是否修改成功,成功后这里会变
2、修改IP
在真实电脑win+r键打开运行窗口,输入cmd,使用ipconfig查看IP地址信息。
在虚拟机打开终端,输入cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33
修改配置文件,按【i】编辑,编辑完毕按【esc】,shift+: 输入wq保存退出。(q!是不保存退出)
GATEWAY是网关。
注意修改三台虚拟机的ip地址时,ip的前三个网段必须保持一致,最后一个网段可以任意改,但是不要改成和真是电脑ip一样。如真实电脑ip是192.168.1.1,那虚拟机ip可以改为192.168.1.2
输入【ip a】或者【ip addr】或者【ping -c 4 +ip】查看是否连通
3、修改hosts
vi /etc/hosts #编辑hosts文件
在文件尾部加上三台虚拟机的地址+主机名,如:
192.168.1.1 bigdata1
192.168.1.2 bigdata2
192.168.1.3 bigdata3
4、关闭虚拟机防火墙
systemctl stop firewalld.service #关闭防火墙服务
systemctl disable firewalld.service #禁止防火墙开机启动
5、NTP服务器设置,用于时间同步
yum -y install ntp #从yum源安装ntp服务
然后编辑NTP配置
vim /etc/ntp.conf
第一台虚拟机中在原有server开头的行前加#注释掉,并且在下面新增以下内容
server ntp.sjtu.edu.cn iburst
server +ip地址
fudge +ip地址 stratum 8
注意:在操作另外两台虚拟机时,只需要注释掉server开头的行,并且只添加一行主服务器地址即可,如下:
server +主机名 + iburst
server bigdata1 iburst
启动NTP服务
/usr/sbin/ntpd
可以在从机上,查看时间同步是否成功
ntpq -p
6、无密码登录
安装ssh
yum install openssh-* -y #从yum源安装ssh服务
创建ssh文件
mkdir /root/.ssh
编辑文件
vim /root/.ssh/config
写入如下代码:
StrictHostKeyChecking=no
UserKnownHostsFile=/dev/null
三台虚拟机配置完后,都要启动服务
/usr/sbin/sshd
第一次启动时,会提醒你缺少**,手动生成即可
ssh-****** -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key -N ""#生成ecdsa**
ssh-****** -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key #生成rsa**
生成密码后,再启动一次,看是否成功,在ps –ef中查询一下ssh服务
ps -ef|grep sshd #查询ssh服务线程
先在1号机上生成公钥
ssh-****** -t rsa -f /root/.ssh/id_rsa #对root用户生成**
中间会确认几次直接回车即可
——————————————
将证书发送到3台机上
ssh-copy-id bigdata1
ssh-copy-id bigdata2
ssh-copy-id bigdata3
测试:用1号机的ip ssh登录其他主机 ,看能否无密登录,都可以则成功。另两台同样测试
ssh bigdata2
ssh bigdata3
OK,今天的学习到此为止,初次发表,多有疏漏,望君指正。
QQ1148824675一起学习~
上一篇: Java游戏之简单版雷霆战机
下一篇: 设计模式——中介者模式
推荐阅读
-
Hadoop(1)——Hadoop基础环境搭建
-
Hadoop学习:Linux集群搭建
-
macOS配置Hadoop3.3.0环境(设置ssh免密登录时的坑)
-
Spark基础环境搭建——local本地模式
-
Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS:1.HDFS基础
-
Hadoop学习-HDFS(1)
-
大数据的基础环境搭建之大数据集群群环境准备
-
社会化海量数据采集爬虫框架搭建 博客分类: java架构hadoop 反监控海量数据抓取爬虫采集
-
hadoop 1.2.1 完全分布式安装注意要点 博客分类: hadoop学习hadoop环境搭建 hadoop 完全分布式安装
-
JAVA线程池管理及分布式HADOOP调度框架搭建 博客分类: java架构hadoopjeetask 分布式线程池java架构hadoop