欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

配置Windows+Hadoop+IDEA+Maven开发环境

程序员文章站 2024-02-19 15:23:22
...

Hadoop版本:3.1.3

Windows下使用IDEA+Maven搭建本地Hadoop开发环境

1、环境变量

  1. 控制面板\系统和安全\系统->高级系统设置->环境变量->系统变量
  2. HADOOP_HOME设置值D:\coding\hadoop
  3. Path加入%HADOOP_HOME%\bin

2、解压

下载压缩包,然后解压
https://download.csdn.net/download/Yellow_python/16672738

解压到上述和环境变量一样的路径D:\coding\hadoop
配置Windows+Hadoop+IDEA+Maven开发环境

3、pom.xml 的 Hadoop依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.3</version>
</dependency>

4、log4j2.xml(可选)

src/main/resources下新建一个log4j2.xml文件,写入

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="error" strict="true" name="XMLConfig">
    <Appenders>
        <!-- 类型名为Console,名称为必须属性 -->
        <Appender type="Console" name="STDOUT">
            <!-- 布局为PatternLayout的方式,
            输出样式为[INFO] [2018-01-22 17:34:01][org.test.Console]I'm here -->
            <Layout type="PatternLayout"
                    pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n"/>
        </Appender>
    </Appenders>
    <Loggers>
        <!-- 可加性为false -->
        <Logger name="test" level="info" additivity="false">
            <AppenderRef ref="STDOUT"/>
        </Logger>
        <!-- root loggerConfig设置 -->
        <Root level="info">
            <AppenderRef ref="STDOUT"/>
        </Root>
    </Loggers>
</Configuration>

pom.xml加入依赖

<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-slf4j-impl</artifactId>
    <version>2.12.0</version>
</dependency>
相关标签: 大数据(上)