欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试

程序员文章站 2022-04-01 16:37:55
...

具体步骤如下:

  1. 配置远程的Deployment
  2. 配置本地上传目录以及远程目标目录
  3. 配置排除上传哪些文件

配置远程Deployment

打开IntelliJ Idea的该项目的“Preferences”,选择添加SFTP远程方式,然后配置远程主机、用户名以及密码,如下图所示:
基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试

配置本地上传目录以及远程目标目录

配置本地上传目录以及远程目标上传目录,如下图所示:
基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试

配置忽略上传目录

并不是所有文件都需要上传到远程服务器,因此还需要排除掉一些不需要上传的文件或者目录,例如我这里的设置如下:
基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试
打包之后可以手动上传到远程集群,如下图所示:
基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试
可以在IntelliJ Idea中查看传输是否成功,如下图所示:
基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试
上传jar到集群之后,可以在集群上面运行或者调试Scala代码,例如我这边的jar包,可以通过如下命令运行:

spark-submit --class LzWordCount lzscalasparktest_2.11-0.1.jar

我这边的运行结果如下图所示:
基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试