基于Nginx反向代理的SparkUI的访问
场景和方案
spark集群部署的情况下,只有Master有公网IP,Worker机器没有公网IP,此时要如果要访问Run在Master机器上的SparkUI,并且需要查看Worker机器上的日志时,就会存在不能访问的问题。此时的一个解决方案就是采用 Nginx+SSH Tunnel 端口重定向的方式,将不同机器不同端口的请求全部导向到Master机器的80端口,然后由Nginx做反向代理转发。
步骤分解
- 部署Spark集群,将SparkUI在Master上run起来。
-
在Master机器上部署Nginx,并修改$NGINX_HOME/conf/nginx.conf文件,添加Work和Master机器的反向代理逻辑,例如:
worker_processes 1; error_log logs/error.log; error_log logs/error.log notice; error_log logs/error.log info; pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; default_type pplication/octet-stream; sendfile off; keepalive_timeout 20; gzip on; proxy_intercept_errors off; upstream server_spark_master { server 127.0.0.1:8080; } upstream server_jyvhyguguiu-slave-0 { server 10.110.1.1:8081; } upstream server_jyvhyguguiu-slave-1 { server 10.110.1.2:8081; } server { listen 80; server_name spark_master; location / { proxy_pass http://server_spark_master; } } server { listen 80; server_name jyvhyguguiu-slave-0; location / { proxy_pass http://server_jyvhyguguiu-slave-0; } } server { listen 80; server_name jyvhyguguiu-slave-1; location / { proxy_pass http://server_jyvhyguguiu-slave-1; } } }
采用nginx的机器名映射的原理,来做反向代理。
3.将Master机器和Worker机器通过修改hosts文件的方式全部绑定到127.0.0.1.
4.采用SSH支持的端口转发原理,将SparkUI用到的端口全部转发到远程的监听Nginx服务的80端口。例如SparkUI会用到Worker机器的8081端口,Master机器的8080端口和Master机器的80端口,那么就将这3个本地端口(因为Master和Worker机器全部绑定到了lo网卡)全部转发到远程的80端口。命令如下:
ssh -N -f -L 8081:127.0.0.1:80 username@ip
ssh -N -f -L 8080:127.0.0.1:80 username@ip
ssh -N -f -L 80:127.0.0.1:80 username@ip
5.此时访问 127.0.0.1:8080端口即可打开远程机器的SparkUI,并且可以访问任意一台Worker机器的日志了。
PS:其实SSH 端口转发也可以采用Master机器做为代理,将请求转发到Worker机器上,网络通路和Nginx的反向代理一致,但是SSH端口转发只能做到4层也就是传输层的转发,不能像Nginx那样做到7层的转发(能够识别机器名,并根据机器名做转发),所以仅仅通过SSH的端口转发,还不能做到同样的效果。
以上就介绍了基于Nginx反向代理的SparkUI的访问,包括了方面的内容,希望对PHP教程有兴趣的朋友有所帮助。
推荐阅读
-
Nginx服务器作反向代理时的缓存配置要点解析
-
Nginx服务器作反向代理实现内部局域网的url转发配置
-
Nginx服务器的SSL证书配置以及对SSL的反向代理配置
-
Nginx服务器的反向代理proxy_pass配置方法讲解
-
nginx proxy_pass反向代理配置中url后加不加/的区别介绍
-
使用Nginx 反向代理来避免 ajax 跨域请求的方法
-
如何让多个不同类型的后端网站用一个nginx进行反向代理实际场景分析
-
详解Nginx + Tomcat 反向代理 如何在高效的在一台服务器部署多个站点
-
Nginx实战之反向代理WebSocket的配置实例
-
让iis记录nginx反向代理的真实ip