欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

腾讯云+阿里云 搭建hadoop + hbase

程序员文章站 2022-07-11 21:35:02
[TOC] 历时两天,踩了无数坑最后搭建成功。。。 准备 两台服务器都安装jdk1.8(最好装在相同路径)。 "hadoop 下载" "hbase 下载" 这里使用hadoop 2.7.3和hbase1.2.4 服务器配置 以下1 3步骤中两台服务器都要配置 1、修改hostname 主节点修改成m ......

目录


历时两天,踩了无数坑最后搭建成功。。。

准备

  • 两台服务器都安装jdk1.8(最好装在相同路径)。
  • 这里使用hadoop-2.7.3和hbase1.2.4

服务器配置

以下1-3步骤中两台服务器都要配置
1、修改hostname
主节点修改成master
从节点修改成slave1
使用命令:vim /etc/hostname

master
# or slave1

重启服务器:reboot
2、修改服务器hosts
假如主节点是阿里云。则在阿里配置
命令: vi /etc/hosts

ip master
ip1 slave1

其中 ip=阿里的内网ip;ip1=腾讯的外网ip
在腾讯配置

ip master
ip1 slave1

其中 ip=阿里的外网ip;ip1=腾讯的内网ip。

3、安装jdk1.8,并配置环境变量

4、ssh配置(master主机)

输入命令生成密匙对

ssh-keygen -t rsa

一路回车

上述命令将在/root/.ssh目录下生成公钥文件id_rsa.pub。将此文件拷贝到.ssh目录下的authorized_keys:

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

使用ssh登录本机
腾讯云+阿里云 搭建hadoop + hbase

将公钥复制到从节点

ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1

可能需要输入从节点密码。

完成后确保从master免密码登录到slave1
腾讯云+阿里云 搭建hadoop + hbase

对服务的配置就完成了,接下了配置hadoop。

hadoop

在master构建好hadoop,然后利用ssh分发到slave。所以下面配置在master进行

在home创建hadoop目录和配置文件路径

cd /home/
mkdir hadoop

cd hadoop
mkdir hadoop_data
cd hadoop_data
mkdir tmp
mkdir hdfs
cd hdfs
mkdir data
mkdir name

1、下载并解压:

可以使用wget下载或者上传都可以。

tar zxvf hadoop-2.7.3.tar.gz -c /home/hadoop/

2、 配置hadoop

hadoop配置文件路径 /home/hadoop/hadoop-2.7.3/etc/hadoop

hadoop-env.sh
修改java_home。jdk路径

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.xml
export java_home=/usr/local/jdk1.8.0_171

core-site.xml

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
<configuration>
 <property>
  <name>fs.defaultfs</name>
  <value>hdfs://master:9000</value>
 </property>
<property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/home/hadoop/hadoop_data/tmp</value>
  <description>abasefor other temporary directories.</description>
 </property>
</configuration>

hdfs-site.xml

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>master:9001</value>
  <description>备份namenode的http地址</description>
 </property>
  <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/hjh/hadoop_data/hdfs/name</value>
   <description>namenode的目录位置</description>
 </property>

 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/hjh/hadoop_data/hdfs/data</value>
  <description>datanode's address</description>
  </property>

 <property>
  <name>dfs.replication</name>
  <value>1</value>
  <description>hdfs系统的副本数量</description>
 </property>
<property>
     <name>dfs.permissions</name>
     <value>false</value>
</property>
 <property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
 </property>

yarn-site.xml

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml
<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>  
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.shufflehandler</value>
</property>
  <property>
   <name>yarn.resourcemanager.address</name>
   <value>master:8032</value>
</property>
  <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master:8033</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:8088</value>
</property>
</configuration>

mapred-site.xml

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   <description>指明mapreduce的调度框架为yarn</description>
 </property>
 <property>
  <name>mapreduce.jobhistory.address</name>
  <value>master:10020</value>
  <description>指明mapreduce的作业历史地址</description>
 </property>
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
  <description>指明mapreduce的作业历史web地址</description>
 </property>

salve

vi /home/hadoop/hadoop-2.7.3/etc/hadoop/salve
master
slave1

该文件指定datanode从节点所在的服务器ip,这里只有两台服务器,所以将主节点master也加上去)

配置环境变量(方便后续操作)

vim /etc/profile 
export hadoop_home=/home/hadoop/hadoop-2.7.3 
export path=$path:$hadoop_home/bin:$hadoop_home/sbin . source /etc/profile

最后copy这个hadoop给slave1

scp -r /home/hadoop/hadoop-2.7.3  root@slave1:/home/hadoop/

启动hadoop

以下在master进行

1、先格式化namenode

hadoop namenode -format

2、启动hadoop

./start-all.sh

执行:jps,查看相关进程
腾讯云+阿里云 搭建hadoop + hbase

在slave1执行jps,
腾讯云+阿里云 搭建hadoop + hbase

如果相关进程没有启动则去查看logs对应的模块的日志。准备埋坑。

在hdfs创建目录试试:
在master

hdfs dfs -ls /

hdfs是空的没有返回任何东西。
创建目录test

hdfs dfs -mkdir /test
hdfs dfs -ls /

腾讯云+阿里云 搭建hadoop + hbase

在slave1中同样可以看到test

腾讯云+阿里云 搭建hadoop + hbase

至此hadoop搭建完成。

hbase

在master构建,然后分发到slave

1、下载并解压:

可以使用wget下载或者上传都可以。

tar zxvf hbase-1.2.4.tar.gz -c /home/hadoop/

2、 配置hbase

hbase配置文件路径 /home/hadoop/hbase-1.2.4/conf

复制hadoop的hdfs-site.xml和core-site.xml到conf

 cp -u /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml /home/hadoop/hbase-1.2.4/conf
 
 cp -u /home/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml /home/hadoop/hbase-1.2.4/conf

hbase-env.sh

vi /home/hadoop/hbase-1.2.4/conf/hbase-env.sh

由于使用jdk1.8 将如下注释
腾讯云+阿里云 搭建hadoop + hbase

#配置jdk环境
export java_home=/usr/local/jdk1.8.0_171
 
#配置zookeeper,true则说明使用hbase内置的zookeeper,false则说明使用单独的zookeeper集群
export hbase_manages_zk=true

hbase-site.xml

vi /home/hadoop/hbase-1.2.4/conf/hbase-site.xml
<!--这是regionserver的共享目录,用来持久化hbase的,端口默认9000-->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
        
    <!--hbase的运行模式,false是单机模式,true是分布式模式;
    若设置为false,hbase和zookeeper会运行在同一个jvm里面-->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
        
    <!--hbase主节点的端口,默认60000-->
    <property>
        <name>hbase.master</name>
        <value>master:60000</value>
    </property>
        
    <!--zookeeper集群的地址列表,用逗号分割,默认localhost,这里的机器太少所以只用了一个zookeeper。否则会出错-->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master</value>
    </property>

regionservers

vi /home/hadoop/hbase-1.2.4/conf/regionservers
master
slave1

最后分发个slave1

scp -r /home/hadoop/hbase-1.2.4 root@slave1:/home/hadoop/

在master 启动hbase
在hbase/bin 下启动hbase

./start-hbase.sh

master运行jps查看相关进程

腾讯云+阿里云 搭建hadoop + hbase

slave1
腾讯云+阿里云 搭建hadoop + hbase

出错看logs查看那个模块出问题。

运行hbase shell

腾讯云+阿里云 搭建hadoop + hbase

整个hadoop + hbase 就搭建好了

java测试

/**
 * @description:
 * @author: hjh
 * @date: 2019-09-04 17:06
 */
public class hbaseconn {

    private static final hbaseconn instance = new hbaseconn();
    private static configuration configuration;
    private static connection connection;

    private hbaseconn() {
        try {
            if (configuration == null) {
                configuration = hbaseconfiguration.create();
                configuration.set("hbase.zookeeper.quorum", "ip"); //master ip
                system.setproperty("hadoop.home.dir", "e:\\hadoop-2.7.3");
                configuration.set("hbase.zookeeper.property.clientport","2181"); //端口号
            }
        } catch (exception e) {
            e.printstacktrace();
        }
    }

    private connection getconnection() {
        if (connection == null || connection.isclosed()) {
            try {
                connection = connectionfactory.createconnection(configuration);
            } catch (exception e) {
                e.printstacktrace();
            }
        }
        return connection;
    }

    public static connection gethbaseconn() {
        return instance.getconnection();
    }

    public static table gettable(string tablename) throws ioexception {
        return instance.getconnection().gettable(tablename.valueof(tablename));
    }

    public static void closeconn() {
        if (connection != null) {
            try {
                connection.close();
            } catch (ioexception ioe) {
                ioe.printstacktrace();
            }
        }
    }
}
public class hbaseutil {
    public static void main(string[] args) {  
        createtable("filetable", new string[]{"fileinfo", "saveinfo"});
    }



    /**
     * 创建table
     * @param tablename 表名
     * @param cfs 列族
     * @return 是否创建成功
     */
    public static boolean createtable(string tablename, string[] cfs) {
        try (hbaseadmin admin = (hbaseadmin) hbaseconn.gethbaseconn().getadmin()) {
            if (admin.tableexists(tablename)) {
                return false;
            }
            htabledescriptor tabledescriptor = new htabledescriptor(tablename.valueof(tablename));
            arrays.stream(cfs).foreach(cf -> {
                hcolumndescriptor columndescriptor = new hcolumndescriptor(cf);
                columndescriptor.setmaxversions(1);
                tabledescriptor.addfamily(columndescriptor);
            });
            admin.createtable(tabledescriptor);
        } catch (exception e) {
            e.printstacktrace();
        }
        return true;
    }

创建成功
腾讯云+阿里云 搭建hadoop + hbase