indows Eclipse Scala编写WordCount程序

windows eclipse scala编写wordcount程序：

1）无需启动hadoop，因为我们用的是本地文件。先像原来一样，做一个普通的scala项目和scala object。

但这里一定注意版本是2.10.6,因为缺省的不好使。改的方法是：右击项目/properties/scala compiler.

2）像spark的java版wordcount项目一模一样导包，什么都一样。（导包的方法和原来普通的java项目一样）

 

例：5.1

package com
import org.apache.spark.sparkconf
import org.apache.spark.sparkcontext
object wordcount {
  def main(args: array[string]) {
    val conf = new sparkconf();
    conf.setappname("first spark scala app!"); 
    conf.setmaster("local");
    val sc = new sparkcontext(conf);
    val lines = sc.textfile("e://temp//input//friend.txt", 1); 
    val words = lines.flatmap { lines => lines.split(" ") };
    val pairs = words.map { word => (word, 1) }
    val wordcounts = pairs.reducebykey(_ + _) 
    wordcounts.foreach(wordnumberpair => println(wordnumberpair._1 + ":" + wordnumberpair._2))
  }
}

文章转载自原文：