欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop+Maven项目打包异常

程序员文章站 2022-05-25 08:21:37
...
先简单说下业务:有一个单独的模块,可以在远程下载Hadoop上的索引,然后合并压缩,最后推送到solr服务器上

原来使用的是Ant打包,外部的jar是在执行主体的jar时cp进环境变量的,所以没有出现今天要说的这个问题,伪代码如下:

先把所有外部的jar的路径,拼接好一个字符串path,然后将path传入下面执行的代码

java -cp  path  com.xxx.xxx.Test

现在要统一项目风格,要把Ant项目转换为Maven项目,大体上没啥问题,由于不写MapReduce,仅仅使用HDFS api操作文件系统上的一些数据,所以引入的依赖如下,并没有hadoop-client


Hadoop+Maven项目打包异常
            
    
    博客分类: Hadoop hadoopmavenlucenesolr 
打包也很顺利,但是,当到Linux上,执行远程下载Hadoop上的
数据时,总是报如下的异常:


Hadoop+Maven项目打包异常
            
    
    博客分类: Hadoop hadoopmavenlucenesolr 
然后检查了下项目依赖的包,发现不缺依赖的jar,经过找资料,发现原来是maven-assembly 这个插件在打包时,覆盖了hadoop的两个关键属性:
conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
 conf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());

如何解决?
方法一:
在实例化Configuration类 , 加入如下属性:


Hadoop+Maven项目打包异常
            
    
    博客分类: Hadoop hadoopmavenlucenesolr 
方法二:在项目路径下新建一个core-site.xml配置如下属性即可


Hadoop+Maven项目打包异常
            
    
    博客分类: Hadoop hadoopmavenlucenesolr 

参考链接:http://blog.intelligencecomputing.io/big_data/13953/repost-no-filesystem-for-scheme-hdfsno-filesystem-for-scheme-file
  • Hadoop+Maven项目打包异常
            
    
    博客分类: Hadoop hadoopmavenlucenesolr 
  • 大小: 183.7 KB
  • Hadoop+Maven项目打包异常
            
    
    博客分类: Hadoop hadoopmavenlucenesolr 
  • 大小: 220.9 KB
  • Hadoop+Maven项目打包异常
            
    
    博客分类: Hadoop hadoopmavenlucenesolr 
  • 大小: 187.7 KB
  • Hadoop+Maven项目打包异常
            
    
    博客分类: Hadoop hadoopmavenlucenesolr 
  • 大小: 154.2 KB