Spark Streaming实时流处理项目实战笔记——从词频统计功能着手入门Spark Streaming

 spark streaming

scalable 可扩展 highthroughput 高吞吐量 fault-tolerant 高容错

Spark一栈式开发

Spark Streaming结合 Sparkcore 实现离线数据和实时统计的整合

spark两种提交作业的方式

1、spark-submit--master local【2】--class xx --name 启动名  位置 

spark-submit --master local[2] --calss org.apache.examples.streaming.NetworkWordCount --name NetworkWordCount /opt/spark/spark/examples/jars/spark-examples_2.11-2.4.4.jar

2、spark-shell（测试用途） --master local【2】

spark-shell --master local[2]

import org.apache.spark.streaming.{Seconds,StreamingContext}
val ssc = new StreamingContext(sc,Seconds(5))
val lines = ssc.socketTextStream("hadoop",9999)
lines.print()
ssc.start()
ssc.awaitTermination()

测试通信效果

nc -lk hadoop 9999