Spark的简单使用之WordCount统计

一、准备要进行统计的文件

可以看到我这里测试的文件名称叫wc.txt
里面的内容也比较少，就六个单词用逗号分隔。

二、计算代码

scala> val file = spark.sparkContext.textFile("file:///root/Desktop/wc.txt") #文件路径

scala> val WordCounts = file.flatMap(line => line.split(",")).map((word => (word, 1))).reduceByKey(_ + _)

scala> WordCounts.collect

//将计算结果保存到HDFS
scala> WordCounts.saveAsTextFile("/user/result")
//将计算结果保存到本地
scala> WordCounts.saveAsTextFile("file:///root/Desktop/result")
//ps：再次保存不能覆盖，会报错。

可以看到这里计算代码非常的简单，就三行。

三、运行结果

可以看出计算结果为：
(hello,3)
(welcome,1)
(world,2)

scala的退出为
scala> :quit