Spark-shell批量命令执行脚本的方法
程序员文章站
2022-07-05 08:11:51
批量执行spark-shell命令,并指定提交参数
#!/bin/bash
source /etc/profile
exec $spark_home/...
批量执行spark-shell命令,并指定提交参数
#!/bin/bash source /etc/profile exec $spark_home/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!eof import org.apache.spark.sql.savemode sql("set hive.exec.dynamic.partition=true") sql("set hive.exec.dynamic.partition.mode=nonstrict") sql("use hr") sql("select * from t_abc ").rdd.saveastextfile("/tmp/out") sql("select * from t_abc").rdd.map(_.tostring).intersection(sc.textfile("/user/hdfs/t2_abc").map(_.tostring).distinct).count !eof
以上这篇spark-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
上一篇: 外貌党的首选 高颜值热门手机推荐
下一篇: 批量处理