hadoop学习笔记之hadoop伪集群安装
hadoop安装实际也是很简单的,关键是有些坑不要踩了就好了,hadoop实际就是一个java的程序,跑起来很简单的,前期配置和准备工作做好就能一步安装成功
准备工作1
安装linux虚拟机,注意安装的时候不要忘记网络设置,不然不能通过局域网连接到虚拟机
准备工作2
linux要先建立一个跑hadoop的用户并赋给权限
[root@ ~]# useradd -m hadoop -s /bin/bash
[root@ ~]# passwd hadoop
更改用户 hadoop 的密码 。
新的 密码:
重新输入新的 密码:
passwd:所有的身份验证令牌已经成功更新。
给hadoop用户赋权限
修改 /etc/sudoers 文件,找到下面一行,把前面的注释(#)去掉
## Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
然后修改用户,使其属于root组(wheel),命令如下:
#usermod -g root hadoop
修改完毕,现在可以用hadoop帐号登录,然后用命令 sudo ,即可获得root权限进行操作。
准备工作3
[root@ ~]# su hadoop
[hadoop@ root]$
[hadoop@ root]$ ssh-keygen -t rsa -P ''
#密钥默认存放在/home/hadoop/.ssh/目录下
[hadoop@ root]$ ~$ cat ./.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@ root]$ chmod 0600 !$
chmod 0600 ~/.ssh/authorized_keys
试试
[hadoop@ root]$ ssh localhost
Last login: Sat Mar 25 21:04:52 2017
[hadoop@ ~]$
已经可以免密码登陆了
准备工作4:
安装jdk
[hadoop@ ~]$ cat .bash_profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
准备工作完毕
我下载的是2.7.3
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
解压
tar -zxvf hadoop-2.7.3.tar.gz
Hadoop配置
首先进入/home/hadoop/hadoop-2.7.3/etc
core-site.xml:包括HDFS、MapReduce的I/O以及namenode节点的url(协议、主机名、端口)等核心配置,datanode在namenode上注册后,通过此url跟client交互
vi hadoop-2.7.3/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml: HDFS守护进程配置,包括namenode,secondary namenode,datanode
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml:MapReduce守护进程配置,包括jobtracker和tasktrackers
vi mapred-site.xml(可以从模板复制)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
全局资源管理配置 (暂时不是很懂)
http://www.cnblogs.com/gw811/p/4077318.html
vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_suffle</value>
</property>
</configuration>
配置与hadoop运行环境相关的变量
hadoop@hive:~$ vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79
完毕这些还有一个步骤很重要:
nameNode 格式化并启动,如果修改了hostname,/etc/hosts文件也需要添加本地解析,否则初始化会报错namenode unknown
/hadoop-2.7.3/bin/hdfs namenode -format
准备完毕启动命令是:
进入/hadoop-2.7.3/sbin/
./start-all.sh
可以进入日志目录看看日志
/home/hadoop/hadoop-2.7.3/logs
[root@ sbin]# jps
14505 SecondaryNameNode
14305 NameNode
12108 -- process information unavailable
14644 ResourceManager
14390 DataNode
14736 NodeManager
14769 Jps
[root@ sbin]#
hadoop伪集群安装安装完毕
推荐阅读
-
Spark新手入门——2.Hadoop集群(伪分布模式)安装
-
Ubuntu16.04下伪分布式环境搭建之hadoop、jdk、Hbase、phoenix的安装与配置
-
hadoop学习笔记之hadoop伪分布集群搭建(三)
-
学习笔记_Hadoop伪分布式搭建
-
Hadoop源码学习笔记之NameNode启动流程分析一:源码环境搭建和项目模块及NameNode结构简单介绍
-
Hadoop学习笔记二 安装部署
-
Hadoop的HDFS和MapReduce的安装(三台伪分布式集群)
-
大数据学习记录_02_hadoop基础以及集群安装
-
Hadoop学习笔记(七)—— Flume的安装配置
-
Spark新手入门——2.Hadoop集群(伪分布模式)安装