欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  网络运营

Spark-shell批量命令执行脚本的方法

程序员文章站 2022-07-05 08:11:51
批量执行spark-shell命令,并指定提交参数 #!/bin/bash source /etc/profile exec $spark_home/...

批量执行spark-shell命令,并指定提交参数

#!/bin/bash

source /etc/profile

exec $spark_home/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!eof
import org.apache.spark.sql.savemode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("select * from t_abc ").rdd.saveastextfile("/tmp/out") 
sql("select * from t_abc").rdd.map(_.tostring).intersection(sc.textfile("/user/hdfs/t2_abc").map(_.tostring).distinct).count
!eof

以上这篇spark-shell批量命令执行脚本的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。