hadoop WordCount例子详解。
[学习笔记]
下载hadoop-2.7.4-src.tar.gz,拷贝hadoop-2.7.4-src.tar.gz中hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples下的wordcount.java文件中的内容到新创建的wordcount空类中。此处附上:
package com;
import java.io.ioexception;
import java.util.stringtokenizer;
import org.apache.hadoop.conf.configuration;
import org.apache.hadoop.fs.path;
import org.apache.hadoop.io.intwritable;
import org.apache.hadoop.io.text;
import org.apache.hadoop.mapreduce.job;
import org.apache.hadoop.mapreduce.mapper;
import org.apache.hadoop.mapreduce.reducer;
import org.apache.hadoop.mapreduce.lib.input.fileinputformat;
import org.apache.hadoop.mapreduce.lib.output.fileoutputformat;
import org.apache.hadoop.util.genericoptionsparser;
public class wordcount {
/*下面的话是我讲静态内部类时的话:马克-to-win:这里的内部类的static,意思是它可以不用实例化外部类,就自己单独被实例化,单独存在(有点像生活中的办公室和办公桌(独立于办公室,办公桌也可以存在)),静态方法不就不用实例化类,直接用吗?就实例化而言,静态内部类和外层类之间完全没有任何关系,相互独立。谁爱怎么样,就怎么样!谁想实例化谁就实例化, 不管对方的感受。当然要想让它们有关系,也可以,见下面例子中的tc.core=nc;*/
public static class tokenizermapper extends mapper<object, text, text, intwritable> {
private final static intwritable one = new intwritable(1);
private text word = new text();
org.apache.hadoop.mapreduce.mapper.context,java.lang.interruptedexception,想看map的源代码,按control,点击,出现attach source code,点击external location/external file,找到源代码,就在source目录下,,d:\hadoop-2.7.4\src
其中key为此行的开头相对于文件的起始位置,value就是此行的字符文本
文章转载自原文:
上一篇: PHP实现简单下载功能
下一篇: 查看Django和flask版本的方法
推荐阅读
-
详解react-refetch的使用小例子
-
Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子
-
详解Android中OkHttp3的例子和在子线程更新UI线程的方法
-
Android Studio 3.0 原生支持kotlin 例子详解
-
详解Android中OkHttp3的例子和在子线程更新UI线程的方法
-
hadoop的wordcount实例代码
-
Linux常用命令之ping命令详解和使用例子(查看网络通不通)
-
Linux netstat命令详解和使用例子(显示各种网络相关信息)
-
Linux traceroute命令详解和使用例子(追踪路由信息)
-
Android Studio 3.0 原生支持kotlin 例子详解