Windows 安装Hadoop和spark

1 安装hadoop

下载hadoop
下载地址
下载之后解压，然后
下载winutils对应hadoop版本替代hadoop/bin目录

配置环境：
在路径…\hadoop-2.8.3\etc\hadoop下修改文件

(1) core-site.xml（配置默认hdfs的访问端口）

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

(2) hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

(3) 将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容（设置mr使用的框架，这里使用yarn）

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(4) yarn-site.xml（这里yarn设置使用了mr混洗）

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

(5) hadoop-env.cmd

设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错！)
移动java修改变量参考

set JAVA_HOME=C:\Java\jdk1.8.0_131

(6) 进入…\hadoop-2.8.3\bin目录，格式化hdfs

在cmd中运行命令 hdfs namenode -format

(7) 进入…\hadoop-2.8.3\sbin目录

在cmd中运行命令

start-all.cmd

(8) 在浏览器地址栏中输入：http://localhost:8088查看集群状态。

2 安装spark

.下载Scala

设置环境变量,同java,hadoop环境变量设置

安装后在cmd中输入scala出现如下提示表示成功

进入spark-2.3.3-bin-hadoop2.7\bin，cmd中输入spark-shell

可能报的错，找不到hadoop