安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)
程序员文章站
2022-06-24 22:42:09
1. Java 下载Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java,在启动资源节点管理器时会出现错误 Java 安装自选目录, 必须是中间不带空格的目录结构:比如 C:\java64 安装完成后,使用“java -version”命令 ......
1. java
- 下载java 1.8 64位版本. 如果不是64位java,在启动资源节点管理器时会出现错误
- java 安装自选目录, 必须是中间不带空格的目录结构:比如 c:\java64
- 安装完成后,使用“java -version”命令在命令行中确认运行了正确的版本
c:\users>java -version java version "1.8.0_251" java(tm) se runtime environment (build 1.8.0_251-b08) java hotspot(tm) 64-bit server vm (build 25.251-b08, mixed mode)
2. winrar/7-zip
- 下载并安装winrar 64位版本,用来解压windows上的linux类型tar.gz包:
- 或者使用7-zip:
3. hadoop
- 解压并将文件夹名重命名为hadoop,并将其放在c:\learning
- 目录名字中间不要有空格(因为hadoop初始开发基于linux, linux 文件名字不能有空格)。
3. 1 setup environmental variables
添加以下目录到path变量:
3.2 edit hadoop configuration
注意:如果你不想自己配置下面 3.2 过程, 除了3.2.3 其它的步骤可以忽略, 那么下载下面链接(bin data etc)文件夹放到你的hadoop目录下覆盖( ), 然后从3.2.3 开始继续!
3.2.1 新建data 目录和子目录
- c:/learning/hadoop/data
- c:/learning/hadoop/data/namenode
- c:/learning/hadoop/data/datanode
3.2.2 修改 hadoop 配置文件
- hdfs服务地址
a) c:\learning\hadoop\etc\hadoop\core-site.xml <configuration> <property> <name>fs.defaultfs</name> <value>hdfs://localhost:9000</value> </property> </configuration>
- 加入如下内容到mapreduce 框架设置文件
b) c:\learning\hadoop\etc\hadoop\mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
- 添加namenode 和 datanode 目录设置
c) c:\learning\hadoop\etc\hadoop\hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///learning/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///learning/hadoop/data/datanode</value> </property> </configuration>
- 添加如下内容到yarn配置文件
d:\learning\hadoop\etc\hadoop\yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>0.0.0.0</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>file:///c:/learning/hadoop/tmp</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.shufflehandler</value> </property> </configuration>
- 设置 java_home 目录到 hadoop-env.cmd. 文件第一行。
e) c:\learning\hadoop\etc\hadoop\hadoop-env.cmd 显性设置java_home set java_home=c:\java64
3.2.3 下载配置windows 环境需要的库文件
- 1. 安装 visual c++ 2010 redistributable package (x64):
- 2. 把 winutils.exe 等 windows 需要的文件放到 c:\learning\hadoop\bin 下面。
下载 下面的bin 直接覆盖c:\learning\hadoop\bin。
- 3. 把里面的 hadoop.dll 拷贝到 c:\windows\system32 一份
3.3 启动hadoop
3.3.1 格式化 hadoop namenode:
>hdfs namenode -format log on scren when run successfully: 20/04/19 10:40:13 info common.storage: storage directory \learning\hadoop\data\namenode has been successfully formatted. 20/04/19 10:40:13 info namenode.fsimageformatprotobuf: saving image file \learning\hadoop\data\namenode\current\fsimage.ckpt_0000000000000000000 using no compression 20/04/19 10:40:13 info namenode.fsimageformatprotobuf: image file \learning\hadoop\data\namenode\current\fsimage.ckpt_0000000000000000000 of size 320 bytes saved in 0 seconds . 20/04/19 10:40:13 info namenode.nnstorageretentionmanager: going to retain 1 images with txid >= 0 20/04/19 10:40:13 info namenode.namenode: shutdown_msg:
3.3.2 启动 hadoop 所有的服务:
- 要用管理员身份运行,四个service窗口会打开运行, 包括hdfs 的数据节点 和 yarn 管理器服务进程
c:\learning\hadoop\sbin\start-all.cmd
3.4 open hadoop gui
- 完成以上步骤后,打开浏览器,导航到: , 这里可以查看job的运行情况 log 信息。
上一篇: Redis配置文件详解
下一篇: Spark中Broadcast的理解