Hadoop入门第一篇——环境配置

一、准备工作

    1. 所需软件

            1）    jdk-linux.rpm

            2）    Hadoop2.8.1.tar.gz

            3）    CentOS.iso

            4）    VirtualBox.exe

            5）    XShell（下载地址：http://www.netsarang.com/download/free_license.html）

            6）    Xftp

    2. 配置windows虚拟网卡

            打开网络连接，找到VirtualBox Host-Only Network，右键属性，选择IPv4双击，配置固定Ip地址。

图 1.2.1

    3. 新建Linux虚拟机

            打开已经安装好的VirtualBox管理器，新建虚拟机，选择操作系统为Linux版本，然后一直选择“下一步”创建完成名为”hd_master“的虚拟机。

图 1.3.1

            在创建好的hd_master机器上右键->设置，选择“网络”，连接方式改为：仅主机（Host-Only）网络。

图 1.3.2

            在上一步中的设置页面中选择“存储”，在控制器:IDE光驱中选择提前下载好的CentOS系统盘，点击“OK”。

图 1.3.3

            启动hd_master虚拟机，等待安装CentOS操作系统。

图 1.3.4

            如果对自己的英文功底不太自信，安装的时候可以选择中文，点击“继续”。

图 1.3.5

            在安装信息摘要页面选择”软件选择“，在进入页面中选择”基础设置服务器“选项（当然这里可以根据自己的需要选择不同环境），点击”安装位置(D)“，选择本地标准磁盘。以上两点操作完成后，点击”开始安装”。

图 1.3.6

            进入安装配置页面，当前页面ROOT密码是没设置的，选择”ROOT密码“设置自己的密码（如果设置密码过于简单，需要点击两次”完成“按钮），然后等待系统安装完成。

图 1.3.7

二、配置环境

    1. 修改主机名

hostnamectl set-hostname hd_master

    2. 配置网络

        在命令行输入：vim /etc/sysconfig/network-scripts/ifcfg-enp0s3，回车，进入配置文件，修改文件内容为：

#默认内容
TYPE=Ethernet
#IP地址
IPADDR=192.168.56.110
#子网掩码
NETMASK=255.255.255.0

        在命令行输入：vim /etc/sysconfig/network，回车，进入配置文件修改网关，修改为windows虚拟网卡IP地址。

NETWORKING=yes
GATEWAY=192.168.56.1

        重启网卡，并检查是否配置完成，如果ping 192.168.56.1（windows虚拟网卡IP地址）是通的，说明配置成功，重启hd_master。

//重启网卡
systemctl restart network
//检查当前网卡信息
ifconfig

图 2.2.1

    3. 通过XShell访问hd_master

        打开XShell，新建会话，输入hd_master虚拟机的IP信息，点击确定。

图 2.3.1

        在弹出回话页面，点击“连接”

        

图 2.3.2

        在弹出提示页面，选择“接受并保持(S)”，输入用户名和密码（为了方便可以选择记住密码）。

图 2.3.3

图 2.3.4

        在XShell中登录成功后，选择Xftp（文件传输）插件。

图 2.3.5

        在弹出页面中，把Windows上提前下载好的hadoop和jdk安装文件传到hd_master中的/usr/local目录中（注意：这里会提示输入hd_master的登录密码），在左侧的windows目录中双击需要传入hd_master中的文件，等待传输完毕后，文件即可在右侧的hd_master中查看到。

图 2.3.6

    4. 配置hadoop和jdk环境       

        在XShell中输入命令查看hd_master中是否已经传入hadoop和jdk文件。

ls /usr/local

图 2.4.1

       进入local目录，执行jdk文件，安装java环境，安装完成后，输入“java -version”命令，显示jdk版本，说明安装成功。

rpm -ivh jdk-8u151-linux-x64.rpm

图 2.4.2

        进入local目录，解压hadoop文件到当前目录。

tar -zxf hadoop-2.8.1.tar.gz

        配置JAVA_HOME环境变量。

            1）修改hadoop-env.sh配置文件

//进入hadoop-env.sh文件所在目录
cd /usr/local/hadoop-2.8.1/etc/hadoop/

//进入hadoop-env.sh文件
vim hadoop-env.sh

//修改JAVA_HOME值
export JAVA_HOME=/usr/java/default

            2）修改profile配置文件

//进入profile文件
vim /etc/profile

//导入PATH变量
export PATH=$PATH:/usr/local/hadoop-2.8.1/bin:/usr/local/hadoop-2.8.1/sbin

            3）重新加载profile文件

source /etc/profile

            4）输入"hadoop version"，回车，显示hadoop版本信息说明配置成功。

图 2.4.3