欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

window10安装hadoop

程序员文章站 2024-01-27 08:19:28
...

为了方便hadoop本地测试开发,需要安装在本机。

1. 解压从官网下载的binary文件

下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz

然后将该tar.gz解压之本地目录,我的目录是:D:\IDEAProject\hadoop-2.8.2

2. 设置HADOOP_HOME环境变量

设置本机PC的环境变量:
HADOOP_HOME设置:D:\IDEAProject\hadoop-2.8.2
Path设置:%HADOOP_HOME%\bin

3. 修改hadcoop-env.cmd文件

hadcoop-env.cmd所在目录:D:\IDEAProject\hadoop-2.8.2\etc\hadoop

set JAVA_HOME=C:\Java\jdk1.8.0_102

这步有个坑,原本我的jdk目录是在D:\Program Files\Java\jdk1.8.0_102,当我这样设置 :

JAVA_HOME=D:\Program Files\Java\jdk1.8.0_102
或者
JAVA_HOME=D:\Progra~1\Java\jdk1.8.0_102

在CMD中进行hadoop version时总会报:Error: JAVA_HOME is incorrectly set.
解决方法是:
将原D盘中的D:\Program Files\Java\jdk1.8.0_102目录复制到我的C盘的Java目录下,然后将hadcoop-env.cmd的JAVA_HOME设置为C:\Java\jdk1.8.0_102,运行hadoop version没有报错, 解决问题

4.增加依赖库文件

下载地址:http://download.csdn.net/download/a327919006/9882492
将文件hadoop.dll ; winutils.exe添加到目录D:\IDEAProject\hadoop-2.8.2\bin下
同时在 C:\Windows\System32目录下放入文件: hadoop.dll。

5.修改配置文件 core-site.xml; hdfs-site.xml; mapred-site.xml; yarn-site.xml

这几个配置文件所在目录:hadoop-2.8.2\etc\hadoop
这几个文件分别增加以下配置。

5.1 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

5.2 hdfs-site.xml

修改这个文件之前需要创建目录:
D:\IDEAProject\hadoop-2.8.2\data\dfs\datanode
D:\IDEAProject\hadoop-2.8.2\data\dfs\namenode

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/IDEAProject/hadoop-2.8.2/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/IDEAProject/hadoop-2.8.2/data/dfs/datanode</value>
    </property>
</configuration>

5.3 mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

5.4 yarn-site.xml

<configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>

<configuration>

6. 运行

6.1格式化HDFS

CMD中:
hadoop/bin下执行 hdfs namenode -format

格式化成功标志有:“successfully formatted.”,“Exiting with status 0”。如果失败的话:Exiting with status 1

然后切换到hadoop-2.8.2\sbin目录下进行hadoop的启动与关闭:

start-dfs.cmd   #先启动dfs  
start-yarn.cmd  #再启动yarn  
start-all.cmd  #等于上面两条命令的组合  

stop-yarn.cmd 
stop-dfs.cmd  

成功运行后可以用两个URL去看Hadoop运行状态:
http://localhost:8088/,可以查看mapreduce任务
http://localhost:50070/ , 在utilities》Browse the file system可以查看hdfs文件


相关标签: hadoop