在32bit win7下安装测试Hadoop2.6.0 etc纪要
根据官网指导(http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html),按照wiki(http://wiki.apache.org/hadoop/Hadoop2OnWindows)的步骤进行,如果你的wiki安装步骤都顺利,那么往下也不用看了。
wiki上提到“Hadoop version 2.2 onwards includes native support for Windows. The official Apache Hadoop releases do not include Windows binaries (yet, as of January 2014).However building a Windows package from the sources is fairly straightforward”,实际上在2.4、2.5直至目前最新版2.6,官方发行版一直都是不包含win本地库的,需要的话你得自己mvn编译,但在我的32位win7家庭版上问题出在步骤2.6,由于SDK一直装不上、mvn编译无法执行、无法本地编译hadoop。
问题的源头是SDK7.1一直装不上,我将.net框架从4.5改到了4.0、以及针对注册表权限的修改都没用,始终安装失败。*找办法:http://*.com/questions/19620642/failed-to-locate-the-winutils-binary-in-the-hadoop-binary-path;这个*办法不错,还提供了Simple Solution,只可惜提供下载的是64位winutils,当中提到了一篇更详细、有针对的资料:Build, Install, Configure and Run Apache Hadoop 2.2.0 in Microsoft Windows OS
由于我本机无法编译,那么要么是找别的机器,有32位win7系统、并且具备4.0 .net + SDK7.1的、装上maven、JDK(如果没有的话)、把hadoop-2.6.0编译出来;要么继续去网上找雷锋上传的现成hadoop\bin,所幸找到了:http://www.cnblogs.com/smartbooks/p/3694760.html,赞一个!
还有一位雷锋winghc提供了2.x版的eclipse插件下载:https://github.com/winghc/hadoop2x-eclipse-plugin,并于去年底提交了hadoop-eclipse-plugin-2.6.0.jar,他的博客:http://blog.csdn.net/white__cat/article/details/38392439,good job!
在进行到wiki指导的最后一步3.5,执行put命令时出错,貌似仍然是winutils版本不对付,参考:
http://download.csdn.net/detail/u014310430/8402965
下载、解压、拷贝,再次运行:
hdfs dfs -put myfile.txt /
o了,也可以ls查看到。smartbooks提供的是基于2.2版,看来2.4前后的winutils版本不兼容似乎是真的...
最终认识到:在win上搞hadoop就是耍流氓,推荐Ubuntu Kylin
上一篇: QT学习笔记(三)——QT中的坐标系统及窗口位置,大小配置
下一篇: 查出数据库表中的comment