spark-sql 操作 hdfs文件，服务器有kerberos安全认证的
程序员文章站
2022-03-24 11:38:48
...
前提：程序是放在服务器上运行，而非在自己电脑本机环境下运行
1 spark-sql 自己写的代码程序，不做任何改动
2 关键是 spark-submit的 --keytab，--principal参数
如
spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/[email protected] --class cn.baidu.service.ApplicationMain ./codeConvert-etl-1.0-SNAPSHOT-jar-with-dependencies.jar