window10安装hadoop
为了方便hadoop本地测试开发,需要安装在本机。
1. 解压从官网下载的binary文件
下载地址:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz
然后将该tar.gz解压之本地目录,我的目录是:D:\IDEAProject\hadoop-2.8.2
2. 设置HADOOP_HOME环境变量
设置本机PC的环境变量:
HADOOP_HOME设置:D:\IDEAProject\hadoop-2.8.2
Path设置:%HADOOP_HOME%\bin
3. 修改hadcoop-env.cmd文件
hadcoop-env.cmd所在目录:D:\IDEAProject\hadoop-2.8.2\etc\hadoop
set JAVA_HOME=C:\Java\jdk1.8.0_102
这步有个坑,原本我的jdk目录是在D:\Program Files\Java\jdk1.8.0_102,当我这样设置 :
JAVA_HOME=D:\Program Files\Java\jdk1.8.0_102
或者
JAVA_HOME=D:\Progra~1\Java\jdk1.8.0_102
在CMD中进行hadoop version时总会报:Error: JAVA_HOME is incorrectly set.
解决方法是:
将原D盘中的D:\Program Files\Java\jdk1.8.0_102目录复制到我的C盘的Java目录下,然后将hadcoop-env.cmd的JAVA_HOME设置为C:\Java\jdk1.8.0_102,运行hadoop version没有报错, 解决问题
4.增加依赖库文件
下载地址:http://download.csdn.net/download/a327919006/9882492
将文件hadoop.dll ; winutils.exe添加到目录D:\IDEAProject\hadoop-2.8.2\bin下
同时在 C:\Windows\System32目录下放入文件: hadoop.dll。
5.修改配置文件 core-site.xml; hdfs-site.xml; mapred-site.xml; yarn-site.xml
这几个配置文件所在目录:hadoop-2.8.2\etc\hadoop
这几个文件分别增加以下配置。
5.1 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
5.2 hdfs-site.xml
修改这个文件之前需要创建目录:
D:\IDEAProject\hadoop-2.8.2\data\dfs\datanode
D:\IDEAProject\hadoop-2.8.2\data\dfs\namenode
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/IDEAProject/hadoop-2.8.2/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/IDEAProject/hadoop-2.8.2/data/dfs/datanode</value>
</property>
</configuration>
5.3 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.4 yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<configuration>
6. 运行
6.1格式化HDFS
CMD中:
hadoop/bin下执行 hdfs namenode -format
格式化成功标志有:“successfully formatted.”,“Exiting with status 0”。如果失败的话:Exiting with status 1
然后切换到hadoop-2.8.2\sbin目录下进行hadoop的启动与关闭:
start-dfs.cmd #先启动dfs
start-yarn.cmd #再启动yarn
start-all.cmd #等于上面两条命令的组合
stop-yarn.cmd
stop-dfs.cmd
成功运行后可以用两个URL去看Hadoop运行状态:
http://localhost:8088/,可以查看mapreduce任务
http://localhost:50070/ , 在utilities》Browse the file system可以查看hdfs文件