Hadoop HBase集群配置
服务器: nodea ----- master nodeb ----- slave nodec ----- slave 新建一个hadoop的账户 sudo useradd -d /home/hadoop -m hadoop -s /bin/bash sudo passwd hadoop 密码任意。 安装必要环境 jdk安装 sudo apt-get install sun-java6-jdk 安装完成后jdk位
服务器:
nodea -----> master
nodeb -----> slave
nodec -----> slave
新建一个hadoop的账户
sudo useradd -d /home/hadoop -m hadoop -s /bin/bash
sudo passwd hadoop
密码任意。
安装必要环境
jdk安装 sudo apt-get install sun-java6-jdk
安装完成后jdk位置为/usr/lib/jvm/java-6-sun
建立ssh免密码登录。
ssh-keygen -t rsa scp authorized_keys hadoop@nodeb:~/.ss
一直回车,会再家目录下建立.ssh文件,文件包含id_rsa 和 id_rsa.pub
将nodeb和nodec的id_rsa.pub 文件传到nodea上,注意要重命名
scp id_rsa.pub hadoop@nodea:~/.ssh/nodeb
scp id_rsa.pub hadoop@nodea:~/.ssh/nodec
然后再nodea上将server i,c,香港服务器,g的id_rsa.pub文件追加到authorized_keys中
hadoop@nodea:~/.ssh$ cat id_rsa.pub >> authorized_keys
hadoop@nodea:~/.ssh$ cat nodec >> authorized_keys
hadoop@nodea:~/.ssh$ cat nodeb >> authorized_keys
然后将authorized_keys文件分发到nodeb和nodea的.ssh目录下
scp authorized_keys hadoop@nodec:~/.ssh
scp authorized_keys hadoop@nodeb:~/.ssh
验证无密码登录
ssh localhost
ssh nodec
等等,香港服务器,验证所有的服务器是否ssh可以无密码登录。
安装&配置hadoop
下载hadoop
wget
解压后开始配置hadoop
修改conf/hadoop-env.sh文件
修改JAVA_HOME,网站空间,修改成本机的java home
把ssh的端口改成本机的端口。
export HADOOP_SSH_OPTS=" "
修改pids的存放位置
export HADOOP_PID_DIR=/home/hadoop/hadoop-1.0.4/pids
修改conf/core-site.xml 添加下列属性:
fs.default.namehdfs://nodea:9000
修改conf/hdfs-site.xml 添加下列属性
dfs.name.dir/home/hadoop/data/namenodedfs.data.dir/home/hadoop/data/datanodedfs.replication3dfs.support.appendtruedfs.datanode.max.xcievers4096
修改conf/mapred-site.xml 文件添加下列属性:
mapred.job.trackernodea:9001
修改conf/master文件:
将localhost替换为nodea
修改conf/slaves文件:
将localhost替换为
nodec
nodeb
最后将配置完成的hadoop同步到所有服务器上
可以用
scp -r hadoop-1.0.4 hadoop@nodeb:~
scp -r hadoop-1.0.4 hadoop@nodec:~
运行hadoop:
1、格式化namenode
bin/hadoop namenode -format
2、运行hadoop
bin/start-all.sh
配置HBase
下载Hbase
wget
下载后解压配置HBase
首先将Hbase目录下lib里的 hadoop-core-1.0.3.jar删除,然后替换为下载的hadoop的jar文件
cp /home/hadoop/hadoop-1.0.4/hadoop-core-1.0.4.jar lib/
配置conf/hbase-env.sh文件:
export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HBASE_SSH_OPTS=" "
export HBASE_PID_DIR=/home/hadoop/hbase-0.94.2/pids
export HBASE_MANAGES_ZK=true
然后修改hbase-site.xml文件
hbase.rootdirhdfs://nodea:9000/hbasehbase.zookeeper.quorumnodeahbase.zookeeper.property.dataDir/home/hadoop/hbase-0.94.2/zookeeperhbase.cluster.distributedtruehbase.masternodea:6000dfs.support.appendtrue
修改regionservers文件
将localhost替换为
nodeb
nodec
然后将文件同步到nodec和nodeb上
scp -r hbase-0.94.2/ hadoop@nodeb:~
scp -r hbase-0.94.2/ :~
运行hbase
再运行hbase之前最好先检查hadoop是否是安全模式,
bin/hadoop dfsadmin -safemode get
如果结果显示是:
Safe mode is ON
则等待hadoop退出安全模式再去 启动hbase
也可以通过命令、
bin/hadoop dfsadmin -safemode leave
推出安全模式,但是有一定的风险。
等hadoop退出安全模式后运行hbase
bin/start-hbase.sh
上一篇: PHP5 版本进化总结
推荐阅读
-
maven、eclipse配置hadoop开发环境
-
配置Windows+Hadoop+IDEA+Maven开发环境
-
HBase入门5(集群) -压力分载与失效转发
-
mysql的集群配置
-
Hadoop-2.7.1安装与配置 博客分类: 云计算
-
任务配置 (Hadoop 2.2.0)
-
配置LVS + Keepalived高可用负载均衡集群之图文教程 博客分类: 网站架构
-
配置LVS + Keepalived高可用负载均衡集群之图文教程 博客分类: 网站架构
-
Hadoop集群(CHD4)实践之 (5) Sqoop安装
-
关于hadoop完全分布式集群搭建 博客分类: hadoop hadoop完全分布式