欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

Hadoop HBase集群配置

程序员文章站 2024-02-19 18:24:17
...

服务器: nodea ----- master nodeb ----- slave nodec ----- slave 新建一个hadoop的账户 sudo useradd -d /home/hadoop -m hadoop -s /bin/bash sudo passwd hadoop 密码任意。 安装必要环境 jdk安装 sudo apt-get install sun-java6-jdk 安装完成后jdk位

服务器:

nodea -----> master

nodeb -----> slave

nodec -----> slave

新建一个hadoop的账户

sudo useradd -d /home/hadoop -m hadoop -s /bin/bash

sudo passwd hadoop

密码任意。

安装必要环境

jdk安装 sudo apt-get install sun-java6-jdk

安装完成后jdk位置为/usr/lib/jvm/java-6-sun

建立ssh免密码登录。

ssh-keygen -t rsa scp authorized_keys hadoop@nodeb:~/.ss

一直回车,会再家目录下建立.ssh文件,文件包含id_rsa 和 id_rsa.pub

将nodeb和nodec的id_rsa.pub 文件传到nodea上,注意要重命名

scp id_rsa.pub hadoop@nodea:~/.ssh/nodeb

scp id_rsa.pub hadoop@nodea:~/.ssh/nodec

然后再nodea上将server i,c,香港服务器,g的id_rsa.pub文件追加到authorized_keys中

hadoop@nodea:~/.ssh$ cat id_rsa.pub >> authorized_keys

hadoop@nodea:~/.ssh$ cat nodec >> authorized_keys

hadoop@nodea:~/.ssh$ cat nodeb >> authorized_keys

然后将authorized_keys文件分发到nodeb和nodea的.ssh目录下

scp authorized_keys hadoop@nodec:~/.ssh

scp authorized_keys hadoop@nodeb:~/.ssh

验证无密码登录

ssh localhost

ssh nodec

等等,香港服务器,验证所有的服务器是否ssh可以无密码登录。

安装&配置hadoop

下载hadoop

wget

解压后开始配置hadoop

修改conf/hadoop-env.sh文件

修改JAVA_HOME,网站空间,修改成本机的java home

把ssh的端口改成本机的端口。

export HADOOP_SSH_OPTS=" "

修改pids的存放位置

export HADOOP_PID_DIR=/home/hadoop/hadoop-1.0.4/pids

修改conf/core-site.xml 添加下列属性:

fs.default.namehdfs://nodea:9000

修改conf/hdfs-site.xml 添加下列属性

dfs.name.dir/home/hadoop/data/namenodedfs.data.dir/home/hadoop/data/datanodedfs.replication3dfs.support.appendtruedfs.datanode.max.xcievers4096

修改conf/mapred-site.xml 文件添加下列属性:

mapred.job.trackernodea:9001

修改conf/master文件:

将localhost替换为nodea

修改conf/slaves文件:

将localhost替换为

nodec

nodeb

最后将配置完成的hadoop同步到所有服务器上

可以用

scp -r hadoop-1.0.4 hadoop@nodeb:~

scp -r hadoop-1.0.4 hadoop@nodec:~

运行hadoop:

1、格式化namenode

bin/hadoop namenode -format

2、运行hadoop

bin/start-all.sh

配置HBase

下载Hbase

wget

下载后解压配置HBase

首先将Hbase目录下lib里的 hadoop-core-1.0.3.jar删除,然后替换为下载的hadoop的jar文件

cp /home/hadoop/hadoop-1.0.4/hadoop-core-1.0.4.jar lib/

配置conf/hbase-env.sh文件:

export JAVA_HOME=/usr/lib/jvm/java-6-sun

export HBASE_SSH_OPTS=" "

export HBASE_PID_DIR=/home/hadoop/hbase-0.94.2/pids

export HBASE_MANAGES_ZK=true

然后修改hbase-site.xml文件

hbase.rootdirhdfs://nodea:9000/hbasehbase.zookeeper.quorumnodeahbase.zookeeper.property.dataDir/home/hadoop/hbase-0.94.2/zookeeperhbase.cluster.distributedtruehbase.masternodea:6000dfs.support.appendtrue

修改regionservers文件

将localhost替换为

nodeb

nodec

然后将文件同步到nodec和nodeb上

scp -r hbase-0.94.2/ hadoop@nodeb:~

scp -r hbase-0.94.2/ :~

运行hbase

再运行hbase之前最好先检查hadoop是否是安全模式,

bin/hadoop dfsadmin -safemode get

如果结果显示是:

Safe mode is ON

则等待hadoop退出安全模式再去 启动hbase

也可以通过命令、

bin/hadoop dfsadmin -safemode leave

推出安全模式,但是有一定的风险。

等hadoop退出安全模式后运行hbase

bin/start-hbase.sh