虚拟机virtualbox Ubuntu 16.04（创建用户，安装hadoop）二

一、创建hadoop用户

命令可以复制，需要安装增强工具

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

二、更新apt

sudo apt-get update

三、安装SSH、配置无密码登录

配置无密码登录

四、安装Java环境

sudo apt-get install default-jre default-jdk

修改配置文件

1.打开主文件夹，点home 点查看，显示隐藏文件，找到.


2.点击打开然后，在里面最后一行添加

export JAVA_HOME=/usr/lib/jvm/default-java

3.使环境变量生效

source ~/.bashrc
echo $JAVA_HOME
java -version
$JAVA_HOME/bin/java -version

五、安装Hadoop2

1、下载hadoop-2.7.1.tar.gz

网盘：https://pan.baidu.com/s/1PfzfxZqMNS7XRxxAWjNWYA
密码：i0n2

2、使用xftp传入虚拟机，具体配置看第一篇设置双网卡，实现主机与虚拟机双向连接

3、使用xftp传递文件，拖入Home/下载中

4.解压安装、修改名字

sudo tar -zxf hadoop-2.7.1.tar.gz -C /usr/local  # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadppo-2.7.1 ./hadoop   #  修改名字
sudo chown -R hadoop:hadoop ./hadoop  # 修改文件权限

5.检查是否可用

cd /usr/local/hadoop
./bin/hadoop version

六、Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式.

1、配置文件

修改配置文件 core-site.xml:

gedit ./etc/hadoop/core-site.xml

输入下面

    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/local/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

修改配置文件 hdfs-site.xml

gedit ./etc/hadoop/hdfs-site.xml

输入下面

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
    </configuration>

2.配置完成后，执行NameNote的格式化

./bin/hdfs namenode -format

显示红色字为成功

3.开启守护进程

./sbin/start-dfs.sh

3-1 localhost: Error: JAVA_HOME is not set and could not be found.

localhost: Error: JAVA_HOME is not set and could not be found.

修改如下文件

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将原本的JAVA_HOME 替换为绝对路径就可以了

#export JAVA_HOME=${JAVA_HOME}

export JAVA_HOME=/usr/lib/jvm/default-java

4.验证是否成功开启

启动完成后，可以通过命令 jps 来判断是否成功启动
若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试。
如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。

jps

显示如下则成功

4-1错误 上面一步中没有DaraNote

1.删除tmp文件

rm -rf tmp
ls  #查看是否删除

2.重新启动

./sbin/start-dfs.sh

完成！