Hadoop伪分布式的搭建
这里我使用的hadoop的版本为hadoop2.5.0-cdh5.3.6。传送门:下载地址
安装步骤:
1.创建用户,使用hadoop用户
2.修改主机名以及ssh免密码登录
3.jdk安装
4.hadoop安装
1.1步骤:
1. 使用useradd hadoop添加用户
2. 使用passwd hadoop设置用户密码,密码自拟
3. 给用户赋予使用sudo命令的权限。
4. chmod u+w /etc/sudoers
6. vim /etc/sudoers
7. 在root ALL=(ALL) ALL下面加上一行hadoop ALL=(ALL) ALL。(分隔的是制表符)
8. chmod u-w /etc/sudoers
2.1Hadoop环境搭建-修改主机名以及ssh免密码登录
步骤:(使用hadoop用户登录)
1. 使用sudo hostname hadoop修改主机名,当前生效,重启后失效。
2. 使用vim /etc/sysconfig/network修改主机名,重启生效。
3. 在/etc/hosts文件中添加主机名对于的ip地址。
4. 使用ssh-****** -t rsa生成ssh秘钥。dsa
5. 进入.ssh文件夹,创建authorized_keys文件,并将id_rsa.pub的内容添加到文件中去,修改文件权限为600(必须)。
6. ssh hh验证
3.1步骤:
1. 复制jdk压缩包到softs文件夹中
2. 解压tar -zxvf softs/jdk-7u79-linux-x64.tar.gz
3. 创建软连接sudo ln -s /home/hadoop/bigdater/jdk1.7.0_79 /usr/local/jdk
4. 配置相关环境变量vim ~/.bash_profile: JAVA_HOME, CLASSPATH, PATH。全局生效配置文件/etc/profile。
5. 使环境变量生效 source ~/.bash_profile
7. 验证java version/ javac version
4.1Hadoop环境搭建-hadoop安装
步骤:
1. 下载hadoop安装包并复制到到softs文件夹中。
2. 解压tar -zxvf softs/hadoop-2.5.0-cdh5.3.6.tar.gz,并创建数据保存文件hdfs(~/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/)。
3. 配置hadoop-env.sh mapred-env.sh yarn-env.sh文件
4. 配置基本环境变量core-site.xml文件
5. 配置hdfs相关变量hdfs-site.xml文件
7. 配置mapre相关环境变量mapred-site.xml文件
8. 配置yarn相关环境变量yarn-site.xml文件
9. 配置datanode相关变量slaves文件
10. 配置hadoop相关环境变量
4.11 编辑文件hadoop-env.sh
4.12 mapred-env.sh
4.13 yarn-env.sh
4.14 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/tmp</value>
</property>
</configuration>
4.15 hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/name</value>
<description> namenode 用来持续存放命名空间和交换日志的本地文件系统路径 </description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/data</value>
<description> DataNode 在本地存放块文件的目录列表,用逗号分隔 </description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description> 设定 HDFS 存储文件的副本个数,默认为1</description>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
4.16 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.17 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
4.18 修改slaves文件
将文件的内容修改为 主机名称
4.19配置hadoop相关环境变量(vim /etc/profile)
#hadoop
export HADOOP_HOME=/usr/local/softs/hadoop-2.5.0-cdh5.3.6/
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5. Hadoop环境搭建-hadoop启动
步骤:
1. 第一次启动hadoop之前需要格式化namenode节点,命令为hadoop namenode -format。
2. 两种方式启动start-all.sh或者start-hdfs.sh start-yarn.sh。
3. 查看是否启动成功。
6.Hadoop环境搭建-验证hadoop是否启动成功
步骤:
1. 验证hadoop是否启动成功有两种方式,第一种:通过jps命令查看hadoop的进行是否启动,第二种:查看web界面是否启动显示正常内容。
2. 验证hadoop对应的yarn(MapReduce)框架是否启动成功:直接运行hadoop自带的example程序。
使用hadoop自带的mapreduce程序验证:/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar
将文件内容添加上去后执行:hadoop jar hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /test.txt output/1234
上一篇: 头脑风暴--原生JS实现汉诺塔游戏
下一篇: token踩坑日常