spark从入门到放弃四: worldcount-scala submit
程序员文章站
2024-02-23 09:08:52
...
文章地址:http://www.haha174.top/article/details/252432
项目源码:https://github.com/haha174/spark.git
提交到spark 集群上面去运行 与本地有点不同
/**
* 如果提交集群只需要修改两个地方
* 第一删除setMaster
* 第二 hadf 上面的文件
*/
val sparkConf = new SparkConf().setAppName("WorldCount");
/**
*
* 1 将world-count.txt 上传到hdfs
* 2 maven 打包
* 3 编写提交脚本
*/
将world-count.txt 上传到hdfs 如果不会可以参考 http://www.haha174.top/article/details/254272
脚本
/spark/spark-2.2.1-bin-hadoop2.7/bin/spark-submit –class spark.core.WorldCountLocal –num-executors 3 –driver-memory 1g –executor-memory 1g –executor-cores 3 –master spark://192.168.1.221:7077 /data/spark-submit/scala/world-count-scala/spark-world-count-scala-submit-1.0-SNAPSHOT-jar-with-dependencies.jar
欢迎关注,更多福利
上一篇: 浅谈XILINX FPGA CLB单元 之 分布式RAM (Distributed RAM Available in SLICEM Only、RAM128X1D、Verilog原语描述)
下一篇: spark源码--#两个问题
推荐阅读
-
spark从入门到放弃四: worldcount-scala submit
-
开源数据处理框架Spark - 从入门到放弃
-
JavaEE 从入门到放弃(四):MVC 模式
-
python从入门到放弃篇15.1(列表list,random.randint,random.choice,if嵌套)实现四则运算的猜数小游戏v2.0版
-
Node.js从入门到放弃(四)
-
nodeJS从入门到放弃(四)服务器处理数据之POST
-
JavaEE 从入门到放弃(四):MVC 模式
-
python从入门到放弃篇15.1(列表list,random.randint,random.choice,if嵌套)实现四则运算的猜数小游戏v2.0版