欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

在32bit win7下安装测试Hadoop2.6.0 etc纪要

程序员文章站 2022-03-10 16:29:31
...

    根据官网指导(http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html),按照wiki(http://wiki.apache.org/hadoop/Hadoop2OnWindows)的步骤进行,如果你的wiki安装步骤都顺利,那么往下也不用看了。

    wiki上提到“Hadoop version 2.2 onwards includes native support for Windows. The official Apache Hadoop releases do not include Windows binaries (yet, as of January 2014).However building a Windows package from the sources is fairly straightforward”,实际上在2.4、2.5直至目前最新版2.6,官方发行版一直都是不包含win本地库的,需要的话你得自己mvn编译,但在我的32位win7家庭版上问题出在步骤2.6,由于SDK一直装不上、mvn编译无法执行、无法本地编译hadoop。

    问题的源头是SDK7.1一直装不上,我将.net框架从4.5改到了4.0、以及针对注册表权限的修改都没用,始终安装失败。*找办法:http://*.com/questions/19620642/failed-to-locate-the-winutils-binary-in-the-hadoop-binary-path;这个*办法不错,还提供了Simple Solution,只可惜提供下载的是64位winutils,当中提到了一篇更详细、有针对的资料:Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS

    由于我本机无法编译,那么要么是找别的机器,有32位win7系统、并且具备4.0 .net + SDK7.1的、装上maven、JDK(如果没有的话)、把hadoop-2.6.0编译出来;要么继续去网上找雷锋上传的现成hadoop\bin,所幸找到了:http://www.cnblogs.com/smartbooks/p/3694760.html,赞一个!

    还有一位雷锋winghc提供了2.x版的eclipse插件下载:https://github.com/winghc/hadoop2x-eclipse-plugin,并于去年底提交了hadoop-eclipse-plugin-2.6.0.jar,他的博客:http://blog.csdn.net/white__cat/article/details/38392439,good job!

 

    在进行到wiki指导的最后一步3.5,执行put命令时出错,貌似仍然是winutils版本不对付,参考:

    http://download.csdn.net/detail/u014310430/8402965

    下载、解压、拷贝,再次运行:

    hdfs dfs -put myfile.txt /

o了,也可以ls查看到。smartbooks提供的是基于2.2版,看来2.4前后的winutils版本不兼容似乎是真的...

 

最终认识到:在win上搞hadoop就是耍流氓,推荐Ubuntu Kylin