欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

图解shell命令运行Hadoop1.2的WordCount例子

程序员文章站 2022-03-03 09:52:17
...
在hadoop1.2.x的版本中,直接运行自带的WordCount的例子会报异常,这个原因是因为它路径的问题,所以,想要正常运行自带的例子,我们还是需要做一些准备工作的,当然你可以直接在eclipse中修改它的源码然后重新编译,再运行,这样一来比较麻烦,特别是对一些刚学习的朋友来说,在eclipse配置个hadoop也许都得折腾半天,所以本篇,散仙会介绍使用shell命令的改变它的编译路径,并重新打包,然后执行,作用跟eclipse改源码一样,但是步骤会很简洁。

下面散仙进入正题,在这之前,确保你的Hadoop的环境已经可以正常工作,如果不懂得怎么部署安装hadoop,那么没关系,可以参考散仙的前几篇博客进行部署。


总结一下,总共需要这5步来完成,如一下截图(散仙的hadoop是直接root的根目录下的)

第一步


图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
第二步

图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
第三步

图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
第四步

图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
第五步

图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
下面是散仙进行测试的文本文件,内容截图如下:


图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
向HDFS上上传测试文件


图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 

向Hadoop提交作业

图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 

查看输出效果

图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 

网页上的输出效果
图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 

至此,我们已经可以完美运行WordCount的例子了,注意几点第一,编译的路径不要写错。第二,在上传文件进行测试时候,一定要关闭防火墙,否则会报异常的,关闭命令service iptables stop 。
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 13.2 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 21.9 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 26 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 19.6 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 14.5 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 11.8 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 9.9 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 15.6 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 48.1 KB
  • 图解shell命令运行Hadoop1.2的WordCount例子
            
    
    博客分类: Hadoop hadoopwordcount编译运行wordcount 
  • 大小: 33.4 KB