欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

Hadoop2.5.1使用笔记

程序员文章站 2022-06-08 11:35:36
...

只是记录遇到的问题及解决方法: 1.安装教程:http://dogdogfish.com/2014/04/26/installing- hadoop -2-4-on-ubuntu-14-04/ 2.新版本的 hadoop streaming 库地址:$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.5.1.jar 3.使用hadoop streaming

只是记录遇到的问题及解决方法:

1.安装教程:http://dogdogfish.com/2014/04/26/installing-hadoop-2-4-on-ubuntu-14-04/

2.新版本的hadoop streaming 库地址:$HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.5.1.jar

3.使用hadoop streaming 同一键值需要自己合并

4.Hadoop Core(hadoop-core-*.jar) is renamed Hadoop Common. location:$HADOOP_HOME/share/hadoop/common/hadoop-common-2.5.1.jar

报错:

1.java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
    解决方案:程序有错, 检查 http://localhost:50070/logs/userlogs/下的日志看container日志中的stderr,然后具体问题具体解决