基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试
程序员文章站
2022-04-01 16:37:55
...
具体步骤如下:
- 配置远程的Deployment
- 配置本地上传目录以及远程目标目录
- 配置排除上传哪些文件
配置远程Deployment
打开IntelliJ Idea的该项目的“Preferences”,选择添加SFTP远程方式,然后配置远程主机、用户名以及密码,如下图所示:
配置本地上传目录以及远程目标目录
配置本地上传目录以及远程目标上传目录,如下图所示:
配置忽略上传目录
并不是所有文件都需要上传到远程服务器,因此还需要排除掉一些不需要上传的文件或者目录,例如我这里的设置如下:
打包之后可以手动上传到远程集群,如下图所示:
可以在IntelliJ Idea中查看传输是否成功,如下图所示:
上传jar到集群之后,可以在集群上面运行或者调试Scala代码,例如我这边的jar包,可以通过如下命令运行:
spark-submit --class LzWordCount lzscalasparktest_2.11-0.1.jar
我这边的运行结果如下图所示:
下一篇: hadoop:spark添加日志