从SpringBoot构建十万博文聊聊Tomcat集群监控
前言
在十万博文终极架构中,我们使用了tomcat集群,但这并不能保证系统不会出问题,为了保证系统的稳定运行,我们还需要对 tomcat 进行有效的运维监控手段,不至于问题出现或者许久一段时间才知道。凌晨一点这个锅可谁都不想背,为此基于目前的情况搭建了以下这么一套监控预警系统。
架构图
相关软件
- nginx:代理访问 grafana
- grafana: 可视化面板(dashboard),有着非常漂亮的图表和布局展示
- influxdb:开源的时间序列数据库,适用于记录度量,事件及执行分析
- telegraf:收集系统和服务的统计数据
- docker:开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中
监控架构
gti监控预警系统,架构流程说明:
- 第一步:数据采集,telegraf 采集 tomcat 相关参数数据
- 第二步:数据存储,influxdb 存储 telegraf 采集的数据
- 第三步:数据可视化,grafana 配置 tomcat 监控面板
- 第四步:预警通知,配置钉钉、邮件等预警
安装配置
这里只对grafana、telegraf、influxdb、tomcat 做相应的安装说明,nginx 以及 docker 请自行查阅资料。
grafana
grafana只是一个接入数据源的可视化面板,这里为了方便,我们选择docker安装。
mkdir grafana id=$(id -u) docker run -d --user $id --name=grafana --volume "$pwd/grafana:/var/lib/grafana" -p 3000:3000 grafana/grafana # 如果生产环境配置,最好提前配置好域名 docker run -d --user $id --name=grafana --volume "$pwd/data:/var/lib/grafana" -p 3000:3000 -e "gf_server_root_url=http://monitor.52itstyle.vip" grafana/grafana
执行成功以后,执行以下命令:
docker ps
如果出现grafana运行容器说明安装成功。
查看容器相关参数:
docker inspect docker.io/grafana/grafana
进入:
docker exec -it grafana /bin/sh
grafana的默认配置文件grafana.ini位于容器中的/etc/grafana,这个文件是映射不出来的。不过可以先创建并运行一个容器,拷贝出来重新创建运行容器。
参数说明(这里截取了部分重点参数):
##################### grafana 几个重要的参数(参考一下) ##################### [paths] # 存放临时文件、session以及sqlite3数据库的目录 ;data = /var/lib/grafana # 存放日志的地方 ;logs = /var/log/grafana # 存放相关插件的地方 ;plugins = /var/lib/grafana/plugins #################################### server #################################### [server] # 默认协议 支持(http, https, socket) ;protocol = http # 默认端口 ;http_port = 3000 # 这里配置访问地址,如果使用了反向代理请配置域名,发送告警通知的时候作为访问地址 root_url = http://grafana.52itstyle.vip #################################### database #################################### [database] # 默认使用的数据库sqlite3,位于/var/lib/grafana目录下面 ;path = grafana.db #################################### session #################################### [session] # session 存储方式,默认是file即可 either "memory", "file", "redis", "mysql", "postgres", default is "file" ;provider = file #################################### smtp / emailing ########################## [smtp] # 邮件服务器配置,自行修改配置 enabled = true host = smtp.mxhichina.com:465 user = admin@52itstyle.vip # if the password contains # or ; you have to wrap it with trippel quotes. ex """#password;""" password = 123456 ;cert_file = ;key_file = ;skip_verify = false from_address = admin@52itstyle.vip # 这里不要设置中文,否则会发送失败 from_name = grafana
influxdb
创建并运行容器
docker run -d -p 8083:8083 -p 8086:8086 -e admin_user="root" -e influxdb_init_pwd="root" -e pre_create_db="telegraf" --name influxdb tutum/influxdb:latest
各个参数含义:
-d:容器在后台运行 --name:容器名称 -e:指定环境变量,容器中可以使用该环境变量 -p:将容器内端口映射到宿主机端口,格式为 宿主机端口:容器内端口;8083是influxdb的web管理工具端口,8086是influxdb的http api端口
执行成功以后,执行以下命令:
docker ps
如果出现influxdb运行容器说明安装成功。
访问地址:http://ip:8083/
telegraf
docker pull telegraf
把telegraf相关配置拷贝到宿机
docker cp telegraf:/etc/telegraf/telegraf.conf ./telegraf
采集tomcat数据:
如果想监控多个tomcat,这里配置多个[[inputs.tomcat]]即可,但是一定要配置不同的tags标识。
[[inputs.tomcat]] url = "http://192.168.1.190:8080/manager/status/all?xml=true" # tomcat访问账号密码 必须配置 username = "tomcat" password = "tomcat" timeout = "5s" # 标识tomcat名称、根据实际项目部署情况而定 [inputs.tomcat.tags] host = "blog" [[inputs.tomcat]] url = "http://192.168.1.190:8081/manager/status/all?xml=true" # tomcat访问账号密码 必须配置 username = "tomcat" password = "tomcat" timeout = "5s" # 标识tomcat名称、根据实际项目部署情况而定 [inputs.tomcat.tags] host = "bbs"
采集数据到influxdb:
[[outputs.influxdb]] # urls = ["udp://localhost:8089"] # udp endpoint example urls = ["http://localhost:8086"] # required,这个url改成自己host ## the target database for metrics (telegraf will create it if not exists). database = "telegraf" # 这个会在influx库创建一个库
把配置文件复制到容器:
docker cp telegraf.conf telegraf:/etc/telegraf/telegraf.conf
重启telegraf服务:
docker restart docker
tomcat
由于telegraf收集tomcat相关数据需要配置访问权限,这里我们选择tomcat7做配置说明。
修改位于conf下的tomcat-users.xml文件:
<tomcat-users> <user username="tomcat" password="tomcat" roles="manager-gui,manager-script,manager-jmx,manager-status"/> </tomcat-users>
重启tomcat容器,访问以下地址:
http://ip:8080/manager/status/all?xml=true
如果出现以上界面,说明配置成功。
监控配置
依次启动tomcat、influxdb、telegraf、grafana完成后,我们进入grafana后台管理进行相关配置。
配置influxdb数据源:
选择 datasources/add datasource
输入正确的http地址以及数据库账号密码,点击保存,如果出现绿色提示框,说明配置成功。
配置tomcat仪表盘:
选择 dashboard/import
这里有三种方式导入面板:
- 选择输入官方面板id或者url
- 直接复制黏贴json格式代码
- 导入第三方面板json格式文件
这里我们导入事先自己定制保存的tomcat监控面板,最后点击导入保存。
如果不出意外,将会是下图的样子。
告警配置
前期做了这么多,我们的最终目的是为了提前预警通知,在系统即将发生灾难之前作出相应的准备调整。这里我们以tomcat的线程数量阈值作为预警通知。
点击线程面板-选择编辑:
配置相关参数:
1、alert名称,可以自定义。
2、执行的频率,这里我选择每60s检测一次。
3、判断标准,默认是avg,这里是下拉框,自己按需求选择。
4、query(a,5m,now),字母a代表选择的metrics中设置的sql,也可以选择其它在metrics中设置的,但这里是单选。5m代表从现在起往之前的五分钟,即5m之前的那个点为时间的起始点,now为时间的结束点,此外这里可以自己手动输入时间。
5、设置的预警临界点,这里手动输入,和6是同样功能,6可以手动移动,两种操作是等同的。
配置预警信息以及通知方式:
这里我们选择的是邮件预警通知,但是要提前进行配置,详见一开始grafana.ini中 smtp / emailing 相关参数配置。
点击发送测试,提示成功会发送一份告警demo到指定邮箱:
总结
讲道理,这一套东西还是挺强大的。特别是对于中小公司来说,各种成熟的开源组间一整合完美搭建出一套监控系统,时间成本、人力成本、技术成本可以降到最低。
参考文档
大家安装过程中,版本可能不尽相同,相关页面展示会不一致,但是不会影响最终功能呈现。
上一篇: 2015十大热门手机盘点 剁手就从里面选
下一篇: jQuery(三)之 选择器(基础版)