Hadoop单节点部署

前言

​ 去年六月份已经搭过集群模式hadoop生态HA集群，为何如今又要编写这篇单节点的文章？因为环境总是会变化的，集群搭起来也是较为耗费时间，且作为一个生态是环环相扣：比如说：hadoop的HA集群，总得先搭建ZK的集群吧。

​ 作为测试，我们大可不必每个环境搭建一次，故有此文，以此记录不想搭集群的测试方式。

安装改名

tar -zxvf /xxx/tars/hadoop-2.6.0-cdh5.14.0-e3base3.0.0.tar.gz -C /xxx/software/

mv hadoop-2.6.0-cdh5.14.0-e3base3.0.0 hadoop

配置环境变量

单节点不用ZK

vim ~/.bash_profile

export IN_HOME=/xxx/software
export E3_INFO_HOME=$IN_HOME/e3-info
export HADOOP_HOME=$IN_HOME/hadoop
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$ZOO_HOME/bin:$PATH

source ~/.bash_profile 【生效】

查看jdk

which java

hadoop-env.sh

配置文件路径（我默写了：xxx/software/hadoop/etc/hadoop/… …）

export JAVA_HOME=/opt/openjdk8u222-b10
export HADOOP_HOME=/xxx/software/hadoop
export E3_INFO_HOME=/xxx/software/e3-info
export HADOOP_LOG_DIR=$E3_INFO_HOME/hadoop/logs
export HADOOP_PID_DIR=$E3_INFO_HOME/hadoop/pids

export JAVA_HOME=${JAVA_HOME}

export HADOOP_CONF_DIR=/xxx/software/hadoop/etc/hadoop

core-site.xml

直接删掉默认的模板文件，新建core-site.xml插入。

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

同上删除模板新建

<configuration>

    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/xxx/software/e3-info/nn</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>/xxx/software/e3-info/data1,/xxx/software/e3-info/data2,/xxx/software/e3-info/data3</value>
    </property>
    <property>
      <name>dfs.permissions</name>
      <value>false</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.datanode.socket.write.timeout</name>
      <value>600000</value>
    </property>
    <property>
      <name>dfs.datanode.max.transfer.threads</name>
      <value>4096000</value>
    </property>
    <property>
      <name>dfs.datanode.directoryscan.throttle.limit.ms.per.sec</name>
      <value>1000</value>
    </property>
    <property>
      <name>dfs.datanode.handler.count</name>
      <value>40</value>
    </property>
    <property>
      <name>dfs.client.socket-timeout</name>
      <value>300000</value>
    </property>
    <property>
      <name>dfs.datanode.max.xcievers</name>
      <value>8192</value>
    </property>
</configuration>

Slaves

localhost

初始化

hadoop namenode -format

启动

hadoop-daemon.sh start namenode

hadoop-daemon.sh stop namenode

验证

jps 命令出现进程：

NameNode

DataNode

hdfs dfs -fs / 无报错

hdfs dfs -mkdi /test

hdfs dfs -fs / 出现

至此单节点已经完成。