window 下安装Hadoop2.7.2教程
window 下安装Hadoop2.7.2教程
安装Hadoop首先确保自己本地安装的jdk以及配置好了jdk的环境变量
首先在Hadoop官网下载Hadoop的文件,下载地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
选择hadoop-2.7.2.tar.gz 下载完成之后解压,在window上面安装还需要下载Hadoop.dll文件和winutils.exe文件,下载地址:https://github.com/sardetushar/hadooponwindows/tree/master/bin,选中文件进去点击右边下载即可,下载成功之后将下载的两个文件拷贝到自己本地的Hadoop文件的bin目录下面。
上述工作都完成之后,我们开始配置Hadoop的环境变量,像配置Java环境变量一样,新建系统环境变量,变量名 HADOOP_HOME 变量值 D:\hadoop-2.7.2\hadoop-2.7.2 这里一定选择自己Hadoop的安装路径,我自己的安装在D盘下面,HADOOP_HOME配置成功之后再编辑path路径的值,在最后面加上 ;%HADOOP_HOME%\bin; 一定不能少了分号;配置成功之后全部确认。
然后我们测试安装是否成功,进入到Hadoop的bin目录下面,运行命令hadoop version 成功的会出现
不成功的会出现一个这样的错误
不要着急,这里并不是我们上面配置的错误,而是我们在安装jdk,指定jdk的路径的时候window的路径出现空格的问题,在Hadoop里面不识别空格造成的,这里我们只需修改jdk环境变量的java_home的变量值即可,在这里我们将原有的带有空格的部分换成 C:\PROGRA~1 即可,jdk的安装就不多说了,这里一定要是自己本地的jdk安装路径,此时我们再次在bin目录下面输入命令hadoop version 就会出现上面成功的部分。
环境变量配置成功之后我们要配置Hadoop的基本文件配置:hadoop配置文件位于:hadoop/etc/hadoop下:core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml
core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name> <value>file:/hadoop/hadoop272/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> <value>file:/hadoop/hadoop272/data/dfs/datanode</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
格式化系统文件:
hadoop/bin下执行 hdfs namenode -format
待执行完毕即可,不要重复format。
格式化完成后到hadoop/sbin下执行 start-dfs启动hadoop
访问:http://localhost:50070
在hadoop/sbin下启动start-yarn,访问http://localhost:8088可查看 资源、节点管理
第一次搭建Hadoop环境,一切皆上网查找,不对的地方欢迎指正。
参考链接:http://blog.csdn.net/fly_leopard/article/details/51250443
上一篇: 浅谈Git使用
下一篇: window下安装Redis教程