欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hadoop学习笔记之hadoop伪集群安装

程序员文章站 2022-05-28 15:32:46
...

hadoop安装实际也是很简单的,关键是有些坑不要踩了就好了,hadoop实际就是一个java的程序,跑起来很简单的,前期配置和准备工作做好就能一步安装成功

准备工作1

安装linux虚拟机,注意安装的时候不要忘记网络设置,不然不能通过局域网连接到虚拟机

准备工作2

linux要先建立一个跑hadoop的用户并赋给权限

[root@ ~]# useradd -m hadoop -s /bin/bash

[root@ ~]# passwd hadoop 

更改用户 hadoop 的密码 。

新的 密码:

重新输入新的 密码:

passwd:所有的身份验证令牌已经成功更新。

给hadoop用户赋权限

修改 /etc/sudoers 文件,找到下面一行,把前面的注释(#)去掉

## Allows people in group wheel to run all commands
%wheel    ALL=(ALL)    ALL

然后修改用户,使其属于root组(wheel),命令如下:

#usermod -g root hadoop

修改完毕,现在可以用hadoop帐号登录,然后用命令 sudo ,即可获得root权限进行操作。

准备工作3

[root@ ~]# su hadoop

[hadoop@ root]$ 

[hadoop@ root]$  ssh-keygen -t rsa -P '' 

#密钥默认存放在/home/hadoop/.ssh/目录下

[hadoop@ root]$ ~$ cat ./.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[hadoop@ root]$  chmod 0600 !$

chmod 0600 ~/.ssh/authorized_keys

试试

[hadoop@ root]$ ssh localhost

Last login: Sat Mar 25 21:04:52 2017

[hadoop@ ~]$ 

已经可以免密码登陆了

 

准备工作4:

安装jdk

[hadoop@ ~]$ cat  .bash_profile 

export JAVA_HOME=/usr/java/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH 

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

 

准备工作完毕

 

我下载的是2.7.3

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

解压

tar -zxvf hadoop-2.7.3.tar.gz

 

Hadoop配置 

首先进入/home/hadoop/hadoop-2.7.3/etc

 

core-site.xml:包括HDFS、MapReduce的I/O以及namenode节点的url(协议、主机名、端口)等核心配置,datanode在namenode上注册后,通过此url跟client交互

 

 vi hadoop-2.7.3/etc/hadoop/core-site.xml 

<configuration>

        <property>

             <name>fs.defaultFS</name>

             <value>hdfs://localhost:9000</value>

        </property>

</configuration>

 

hdfs-site.xml: HDFS守护进程配置,包括namenode,secondary namenode,datanode

hdfs-site.xml 

<configuration>

        <property>

             <name>dfs.replication</name>

             <value>1</value>

        </property>

</configuration>

mapred-site.xml:MapReduce守护进程配置,包括jobtracker和tasktrackers

 

 vi mapred-site.xml(可以从模板复制)

<configuration>

        <property>

             <name>mapreduce.framework.name</name>

             <value>yarn</value>

        </property>

</configuration>

全局资源管理配置 (暂时不是很懂)

http://www.cnblogs.com/gw811/p/4077318.html

vi yarn-site.xml 

<configuration>

   <property>

      <name>yarn.nodemanager.aux-services</name> 

      <value>mapreduce_suffle</value>

   </property> 

</configuration>

配置与hadoop运行环境相关的变量

 

hadoop@hive:~$ vi  hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79 

 

完毕这些还有一个步骤很重要:

nameNode 格式化并启动,如果修改了hostname,/etc/hosts文件也需要添加本地解析,否则初始化会报错namenode unknown

/hadoop-2.7.3/bin/hdfs namenode -format

 

准备完毕启动命令是:

进入/hadoop-2.7.3/sbin/

./start-all.sh

可以进入日志目录看看日志

 

/home/hadoop/hadoop-2.7.3/logs

 

[root@ sbin]# jps

14505 SecondaryNameNode

14305 NameNode

12108 -- process information unavailable

14644 ResourceManager

14390 DataNode

14736 NodeManager

14769 Jps

 

[root@ sbin]# 

 

hadoop伪集群安装安装完毕

 

 

 

 

 

相关标签: hadoop安装