欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

在CDH3上运行mahout的random forest算法时的异常处理 博客分类: mahout

程序员文章站 2024-03-23 19:17:46
...

在应用apache mahout中的random forest分类的时候,报java.lang.IllegalStateException: java.io.EOFException异常。具体如下图:

 


在CDH3上运行mahout的random forest算法时的异常处理
            
    
    博客分类: mahout

这个错误发生是在训练出模型后,将模型存储的时候。原因是cloudera的hadoop版本在mapreduce 任务运行完后,会生成一个_SUCCESS目录,这将导致如上异常。

 

 

解决的办法是在配置文件mapred-site.xml中加入配置mapreduce.fileoutputcommitter.marksuccessfuljobs 值为false。

 

<property>
    <name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name>
    <value>false</value>
</property>

 

英文解释见:http://blog.nemccarthy.me/?p=82

 

  • 在CDH3上运行mahout的random forest算法时的异常处理
            
    
    博客分类: mahout
  • 大小: 22.4 KB