hadoop学习笔记之hadoop伪集群安装

hadoop安装实际也是很简单的,关键是有些坑不要踩了就好了,hadoop实际就是一个java的程序,跑起来很简单的,前期配置和准备工作做好就能一步安装成功

准备工作1

安装linux虚拟机,注意安装的时候不要忘记网络设置,不然不能通过局域网连接到虚拟机

准备工作2

linux要先建立一个跑hadoop的用户并赋给权限

[root@ ~]# useradd -m hadoop -s /bin/bash

[root@ ~]# passwd hadoop 

更改用户 hadoop 的密码 。

新的 密码：

重新输入新的 密码：

passwd：所有的身份验证令牌已经成功更新。

给hadoop用户赋权限

修改 /etc/sudoers 文件，找到下面一行，把前面的注释（#）去掉

## Allows people in group wheel to run all commands
%wheel    ALL=(ALL)    ALL

然后修改用户，使其属于root组（wheel），命令如下：

#usermod -g root hadoop

修改完毕，现在可以用hadoop帐号登录，然后用命令 sudo ，即可获得root权限进行操作。

准备工作3

[root@ ~]# su hadoop

[hadoop@ root]$ 

[hadoop@ root]$  ssh-keygen -t rsa -P '' 

#密钥默认存放在/home/hadoop/.ssh/目录下

[hadoop@ root]$ ~$ cat ./.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[hadoop@ root]$  chmod 0600 !$

chmod 0600 ~/.ssh/authorized_keys

试试

[hadoop@ root]$ ssh localhost

Last login: Sat Mar 25 21:04:52 2017

[hadoop@ ~]$ 

已经可以免密码登陆了

 

准备工作4：

安装jdk

[hadoop@ ~]$ cat  .bash_profile 

export JAVA_HOME=/usr/java/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH 

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

 

准备工作完毕

 

我下载的是2.7.3

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

解压

tar -zxvf hadoop-2.7.3.tar.gz

 

Hadoop配置 

首先进入/home/hadoop/hadoop-2.7.3/etc

 

core-site.xml：包括HDFS、MapReduce的I/O以及namenode节点的url（协议、主机名、端口）等核心配置，datanode在namenode上注册后，通过此url跟client交互

 

 vi hadoop-2.7.3/etc/hadoop/core-site.xml 

<configuration>

        <property>

             <name>fs.defaultFS</name>

             <value>hdfs://localhost:9000</value>

        </property>

</configuration>

 

hdfs-site.xml： HDFS守护进程配置，包括namenode，secondary namenode，datanode

hdfs-site.xml 

<configuration>

        <property>

             <name>dfs.replication</name>

             <value>1</value>

        </property>

</configuration>

mapred-site.xml：MapReduce守护进程配置，包括jobtracker和tasktrackers

 

 vi mapred-site.xml(可以从模板复制)

<configuration>

        <property>

             <name>mapreduce.framework.name</name>

             <value>yarn</value>

        </property>

</configuration>

全局资源管理配置 (暂时不是很懂)

http://www.cnblogs.com/gw811/p/4077318.html

vi yarn-site.xml 

<configuration>

   <property>

      <name>yarn.nodemanager.aux-services</name> 

      <value>mapreduce_suffle</value>

   </property> 

</configuration>

配置与hadoop运行环境相关的变量

 

hadoop@hive:~$ vi  hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79 

 

完毕这些还有一个步骤很重要：

nameNode 格式化并启动，如果修改了hostname，/etc/hosts文件也需要添加本地解析，否则初始化会报错namenode unknown

/hadoop-2.7.3/bin/hdfs namenode -format

 

准备完毕启动命令是：

进入/hadoop-2.7.3/sbin/

./start-all.sh

可以进入日志目录看看日志

 

/home/hadoop/hadoop-2.7.3/logs

 

[root@ sbin]# jps

14505 SecondaryNameNode

14305 NameNode

12108 -- process information unavailable

14644 ResourceManager

14390 DataNode

14736 NodeManager

14769 Jps

 

[root@ sbin]# 

 

hadoop伪集群安装安装完毕