Hadoop的安装部署与配置
注:pdf版下载:http://pan.baidu.com/s/1GKGkf 一、实验环境准备 本机配置 CPU : IntelCorei5-3317,1.7GHz Memory : 8G OS : WIN8 VMware 及 Ubuntu12.04 VMware 的安装略。 先安装一个虚拟机(本实验安装的是 Ubuntu12.04LST64bit ) JDK 安装 JDK 下载
注:pdf版下载:http://pan.baidu.com/s/1GKGkf
一、实验环境准备
本机配置
CPU:Intel Core i5-3317,1.7GHz
Memory:8G
OS:WIN8
VMware及Ubuntu12.04
VMware的安装略。
先安装一个虚拟机(本实验安装的是Ubuntu 12.04LST 64bit)
JDK安装
JDK下载
http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
提升管理员权限、解压:
编辑 /ect/profile 配置JDK环境变量
在 /etc/profile 文件中添加以下内容
测试配置是否正确
Hadoop安装
下载http://mirrors.cnnic.cn/apache/hadoop/common/
我下载的是1.2.1版本,解压下载的hadoop到/opt目录下
在 /etc/profile 添加
让配置文件生效:
然后在hadoop-env.sh 中配置好java的目录
编辑/conf 下的core-site.xml
在这里添加了一个 hadoop.tmp.dir变量,主要是默认的hadoop目录是个tmp文件,容易被系统删除,所以重新指定了一个目录,然后在terminal下新建该目录并赋予完全访问权限。
mkdir /home/tianjun/hadoop
chown 777 /home/tianjun/hadoop
然后再编辑hdfs-site.xml
保存后再编辑mapred-site.xml
最后需要做的是在hadoop安装目录下添加logs文件夹并赋予完全访问权(不然后面有点麻烦)
主要命令是
sudo mkdir /opt/hadoop/logs
chown 777 /opt/hadoop/logs
然后就可以看到以下()
至此在单个机器上的环境已配置好。
二、复制多个虚拟机并相互通信
选完全克隆:
复制完成后:
查询IP地址
分别在3台虚拟机上运行 ifconfig 查看ip 如果不是该格式的话查看 Vmware自带的工具(Virtual Network Editor)
分别在三台虚拟机上编辑hosts文件 添加 master、slave1、slave2 的IP地址
SSH免密码登陆(以下在每台电脑上设置)
分别在三台虚拟机上运行 ssh-keygen, 在~/.ssh目录下会生成公钥和密钥,然后将公钥复制为authorized_keys
由于Ubuntu下没有预装openssh-client 需要自己联网安装:
Sudo apt-get install openssh-server
然后本地测试ssh localhost
在三台虚拟机上都完成以上步骤后,分别在slave1和slave2上运行以下命令(scp),主要是将master上的公钥复杂到本地然后加入authorized_keys,从而master可以无障碍访问slave1和slave2
然后在master上测试
多试几次,第一次要确认,退出后再连几次。然后就直接连上了。(很遗憾的一点是,由于三台虚拟机复制后的hostname是一样的,都是Ubuntu,所以截图里分不清到底是哪台计算机的terminal,截图的时候没意识到这个问题,囧...)
三、测试及报错
运行hadoop
首先格式化(在master主机上):
Hadoop namenode -format(这个只要格式化一次就够了,以后启动hadoop就只运行start-all.sh , 停止就运行 stop-all.sh)
然后运行 start-all.sh
在主机上运行jps查看是否有如下进程:
在slave1和slave2下运行jps查看是否有如下进程:
最后在任意一虚拟机的浏览器上打开 master:50030 和 master:50070
搞定。下周再完成mapreduce部分。敬请期待。
关于出错
以我的经验来看,出错几乎是难以避免的,大致分为两类:要么是执行命令时出现权限问题(这类问题要注意命令行的输出,比如 permission denied 之类的,cannot mkdir 之类的还有access denied之类的);要么是hadoop配置文件写错之类的(这类问题要注意查看hadoop/losgs文件夹下的相关log,比如jps执行后如果没有namenode就查看namenode的log文件,重点看 Fatal 或者是 ERROR那一行,然后google之一般都能找到解决方案)。
Goodluck!
四、参考文档
Hadoop Beginner’s Guide.pdf(主要讲的是伪分布式)
http://pan.baidu.com/s/15Sph9
hadoop学习之hadoop完全分布式集群安装
http://blog.csdn.net/ab198604/article/details/8250461
Hadoop The Definitive Guide(3rd).pdf
http://pan.baidu.com/s/1BXTDa
五、HBase下载
下载并解压到Hadoop所在目录
接下来配置Hbase-env.sh
再编辑 hbase-site.xml
最后编辑regionserver
然后将修改后的整个hbase文件夹复制到slave1和slave2上
然后运行 start-hbase.sh
接下来运行jps检测进程:
最后运行 hbase shell
这样,整个过程就完成了。
原文地址:Hadoop的安装部署与配置, 感谢原作者分享。
上一篇: lnmp源码安装以及简单配置
推荐阅读
-
Docker配置本地镜像与容器的存储位置
-
无法在发生错误时创建会话,请检查 PHP 或网站服务器日志,并正确配置 PHP 安装最快的解决办法
-
python安装以及IDE的配置教程
-
分享在PHP 7下安装Swoole与Yar,Yaf的方法教程
-
nginx安装及依赖关系的配置记录 dpkg 依赖关系 oracle任务依赖关系 uml依赖关系的实
-
安装配置MySQLMTOP来监控MySQL运行性能的教程_MySQL
-
[MySQL] MySQL的自动化安装部署_MySQL
-
DJANGO-ALLAUTH社交用户系统的安装配置
-
ubuntu下的nginx+php+mysql安装配置
-
thinkphp初学者的安装与配置