Hadoop-2.5.2在Win10上的伪分布式单节点配置
<div class="iteye-blog-content-contain" style="font-size: 14px">
Hadoop-2.5.2可以在win10系统上直接运行，而不需要Cygwin。下面来介绍配置过程：
一、下载Hadoop-2.5.2
在http://hadoop.apache.org/releases.html网址中可以找到Hadoop的相关版本点击进行下载
二、解压下载后的文件
（如hadoop-2.5.2.tar.gz）到指定的目录，例如我的在
D:\hadoop\hadoop-2.5.2下。
三、配置相关文件
1、配置hadoop-env.cmd文件（该文件在D:\hadoop\hadoop-2.5.2\etc\hadoop中）
用一种编辑器软件打开并在最后加上如下几句：
set HADOOP_PREFIX=D:\hadoop\hadoop-2.5.2 set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\bin
2、配置core-site.xml文件（该文件在D:\hadoop\hadoop-2.5.2\etc\hadoop中）
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/sysdata/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://0.0.0.0:19000</value>
</property>
</configuration>
3、配置hdfs-site.xml文件（该文件在D:\hadoop\hadoop-2.5.2\etc\hadoop下
用一种编辑器软件打开并在内部编辑如下语句：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/sysdata/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/sysdata/hdfs/data</value>
</property>
</configuration>
4、配置mapred-site.xml文件（该文件在D:\hadoop\hadoop-2.5.2\etc\hadoop下）
用一种编辑器软件打开并在内部编辑如下语句：
<configuration>
<property>
<name>mapreduce.job.user.name</name>
<value>%Administrator%</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.apps.stagingDir</name>
<value>/user/%Administrator%/staging</value>
</property>
<property>
<name>mapreduce.jobtracker.address</name>
<value>local</value>
</property>
</configuration>
5、配置yarn-site.xml文件（该文件在e:/hadoop/deploy/etc/hadoop下）
用一种编辑器软件打开并在内部编辑如下内容：
<configuration> <property> <name>yarn.server.resourcemanager.address</name> <value>0.0.0.0:8020</value> </property> <property> <name>yarn.server.resourcemanager.application.expiry.interval</name> <value>60000</value> </property> <property> <name>yarn.server.nodemanager.address</name> <value>0.0.0.0:45454</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.server.nodemanager.remote-app-log-dir</name> <value>/app-logs</value> </property> <property> <name>yarn.nodemanager.log-dirs</name> <value>/dep/logs/userlogs</value> </property> <property> <name>yarn.server.nodemanager.remote-app-log-dir</name> <value>/app-logs</value> </property> <property> <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>-1</value> </property> <property> <name>yarn.application.classpath</name> <value>%HADOOP_CONF_DIR,HADOOP_COMMON_HOME%/share/hadoop/common/*, %HADOOP_COMMON_HOME%/share/hadoop/common/lib/*, %HADOOP_COMMON_HOME%/share/hadoop/hdfs/*, %HADOOP_COMMON_HOME%/share/hadoop/hdfs/lib/*, %HADOOP_COMMON_HOME%/share/hadoop/mapreduce/*, %HADOOP_COMMON_HOME%/share/hadoop/mapreduce/lib/*, %HADOOP_COMMON_HOME%/share/hadoop/yarn/*, %HADOOP_COMMON_HOME%/share/hadoop/yarn/lib/*</value> </property> </configuration>
至此，所有的配置文件都以完成，下面要进行环境变量的初始化和相关的验证
四、环境变量的初始化及相关启动
1、打开cmd命令窗口，先切换到D:盘下。用cd D:\hadoop\hadoop-2.5.2\etc\hadoop目录下，执行hadoop-env.cmd命令即可初始化环境变量了。
2、格式化namenode,执行%HADOOP_PREFIX%\bin\hdfs namenode -format命令即可格式化namenode
3、启动 hdfs 进程，执行 %HADOOP_PREFIX%\sbin\start-dfs.cmd命令，这时会弹出两个命令窗口，在主窗口内用命令jps即可观察到现在启动的一些节点如下图所示：
可能会出现错误：如hadoop_io_nativeio_NativeIO$Windows_access0(Ljava-lang-String;I)Z
解决方法：见http://blog.csdn.net/congcong68/article/details/42043093
4、启动yarn进程，执行%HADOOP_PREFIX%\sbin\start-yarn.cmd命令，这时又会弹出两个命令窗口，在主窗口内用命令jps即可观察到现在启动的一些节点如下图所示：
至此，Hadoop在win7系统下已经配置成功。
</div>
