在Ubuntu上使用Grafana监控Docker的方法
前言
grafana 是一个有着丰富指标的开源控制面板。在可视化大规模测量数据的时候是非常有用的。根据不同的指标数据,它提供了一个强大、优雅的来创建、分享和浏览数据的方式。
它提供了丰富多样、灵活的图形选项。此外,针对数据源(data source),它支持许多不同的存储后端。每个数据源都有针对特定数据源的特性和功能所定制的查询编辑器。grafana 提供了对下述数据源的正式支持:graphite、influxdb、opentsdb、 prometheus、elasticsearch 和 cloudwatch。
每个数据源的查询语言和能力显然是不同的,你可以将来自多个数据源的数据混合到一个单一的仪表盘上,但每个面板(panel)被绑定到属于一个特定组织(organization)的特定数据源上。它支持验证登录和基于角色的访问控制方案。它是作为一个独立软件部署,使用 go 和 javascript 编写的。
在这篇文章,我将讲解如何在 ubuntu 16.04 上安装 grafana 并使用这个软件配置 docker 监控。
先决条件
安装好 docker 的服务器
安装 grafana
我们可以在 docker 中构建我们的 grafana。 有一个官方提供的 grafana docker 镜像。
请运行下述命令来构建grafana 容器。
root@ubuntu:~# docker run -i -p 3000:3000 grafana/grafana unable to find image 'grafana/grafana:latest' locally latest: pulling from grafana/grafana 5c90d4a2d1a8: pull complete b1a9a0b6158e: pull complete acb23b0d58de: pull complete digest: sha256:34ca2f9c7986cb2d115eea373083f7150a2b9b753210546d14477e2276074ae1 status: downloaded newer image for grafana/grafana:latest t=2016-07-27t15:20:19+0000 lvl=info msg="starting grafana" logger=main version=3.1.0 commit=v3.1.0 compiled=2016-07-12t06:42:28+0000 t=2016-07-27t15:20:19+0000 lvl=info msg="config loaded from" logger=settings file=/usr/share/grafana/conf/defaults.ini t=2016-07-27t15:20:19+0000 lvl=info msg="config loaded from" logger=settings file=/etc/grafana/grafana.ini t=2016-07-27t15:20:19+0000 lvl=info msg="config overriden from command line" logger=settings arg="default.paths.data=/var/lib/grafana" t=2016-07-27t15:20:19+0000 lvl=info msg="config overriden from command line" logger=settings arg="default.paths.logs=/var/log/grafana" t=2016-07-27t15:20:19+0000 lvl=info msg="config overriden from command line" logger=settings arg="default.paths.plugins=/var/lib/grafana/plugins" t=2016-07-27t15:20:19+0000 lvl=info msg="path home" logger=settings path=/usr/share/grafana t=2016-07-27t15:20:19+0000 lvl=info msg="path data" logger=settings path=/var/lib/grafana t=2016-07-27t15:20:19+0000 lvl=info msg="path logs" logger=settings path=/var/log/grafana t=2016-07-27t15:20:19+0000 lvl=info msg="path plugins" logger=settings path=/var/lib/grafana/plugins t=2016-07-27t15:20:19+0000 lvl=info msg="initializing db" logger=sqlstore dbtype=sqlite3 t=2016-07-27t15:20:20+0000 lvl=info msg="executing migration" logger=migrator id="create playlist table v2" t=2016-07-27t15:20:20+0000 lvl=info msg="executing migration" logger=migrator id="create playlist item table v2" t=2016-07-27t15:20:20+0000 lvl=info msg="executing migration" logger=migrator id="drop preferences table v2" t=2016-07-27t15:20:20+0000 lvl=info msg="executing migration" logger=migrator id="drop preferences table v3" t=2016-07-27t15:20:20+0000 lvl=info msg="executing migration" logger=migrator id="create preferences table v3" t=2016-07-27t15:20:20+0000 lvl=info msg="created default admin user: [admin]" t=2016-07-27t15:20:20+0000 lvl=info msg="starting plugin search" logger=plugins t=2016-07-27t15:20:20+0000 lvl=info msg="server listening" logger=server address=0.0.0.0:3000 protocol=http suburl=
我们可以通过运行此命令确认 grafana 容器的工作状态 docker ps -a 或通过这个url访问 http://docker ip:3000。
所有的 grafana 配置设置都使用环境变量定义,在使用容器技术时这个是非常有用的。grafana 配置文件路径为 /etc/grafana/grafana.ini。
理解配置项
grafana 可以在它的 ini 配置文件中指定几个配置选项,或可以使用前面提到的环境变量来指定。
配置文件位置
通常配置文件路径:
默认配置文件路径 : $working_dir/conf/defaults.ini
自定义配置文件路径 : $working_dir/conf/custom.ini
ps:当你使用 deb、rpm 或 docker 镜像安装 grafana 时,你的配置文件在 /etc/grafana/grafana.ini。
理解配置变量
现在我们看一些配置文件中的变量:
instance_name:这是 grafana 服务器实例的名字。默认值从 ${hostname}
获取,其值是环境变量hostname,如果该变量为空或不存在,grafana 将会尝试使用系统调用来获取机器名。
[paths]:这些路径通常都是在 init.d 脚本或 systemd service 文件中通过命令行指定。
data:这个是 grafana 存储 sqlite3 数据库(如果使用)、基于文件的会话(如果使用),和其他数据的路径。
logs:这个是 grafana 存储日志的路径。
[server]
http_addr:应用监听的 ip 地址,如果为空,则监听所有的接口。
http_port:应用监听的端口,默认是 3000,你可以使用下面的命令将你的 80 端口重定向到 3000 端口:$iptables -t nat -a prerouting -p tcp --dport 80 -j redirect --to-port 3000
root_url : 这个 url 用于从浏览器访问 grafana 。
cert_file : 证书文件的路径(如果协议是 https)。
cert_key : 证书密钥文件的路径(如果协议是 https)。
[database]:grafana 使用数据库来存储用户和仪表盘以及其他信息,默认配置为使用内嵌在 grafana 主二进制文件中的 sqlite3。
type:你可以根据你的需求选择 mysql、postgres、sqlite3。
path:仅用于选择 sqlite3 数据库时,这个是数据库所存储的路径。
host:仅适用 mysql 或者 postgres。它包括 ip 地址或主机名以及端口。例如,grafana 和 mysql 运行在同一台主机上设置如: host = 127.0.0.1:3306
。
name:grafana 数据库的名称,把它设置为 grafana 或其它名称。
user:数据库用户(不适用于 sqlite3)。
password:数据库用户密码(不适用于 sqlite3)。
ssl_mode:对于 postgres,使用 disable,require,或 verify-full 等值。对于 mysql,使用 true,false,或 skip-verify。
ca_cert_path:(只适用于 mysql)ca 证书文件路径,在多数 linux 系统中,证书可以在 /etc/ssl/certs 找到。
client_key_path:(只适用于 mysql)客户端密钥的路径,只在服务端需要用户端验证时使用。
client_cert_path:(只适用于 mysql)客户端证书的路径,只在服务端需要用户端验证时使用。
server_cert_name:(只适用于 mysql)mysql 服务端使用的证书的通用名称字段。如果 ssl_mode 设置为 skip-verify 时可以不设置。
[security]
admin_user:这个是 grafana 默认的管理员用户的用户名,默认设置为 admin。
admin_password:这个是 grafana 默认的管理员用户的密码,在第一次运行时设置,默认为 admin。
login_remember_days:保持登录/记住我的持续天数。
secret_key:用于保持登录/记住我的 cookies 的签名。
设置监控的重要组件
我们可以使用下面的组件来创建我们的 docker 监控系统。
cadvisor:它被称为 container advisor。它给用户提供了一个资源利用和性能特征的解读。它会收集、聚合、处理、导出运行中的容器的信息。你可以通过这个文档了解更多。
influxdb:这是一个包含了时间序列、度量和分析数据库。我们使用这个数据源来设置我们的监控。cadvisor 只展示实时信息,并不保存这些度量信息。influx db 帮助保存 cadvisor 提供的监控数据,以展示非某一时段的数据。
grafana dashboard:它可以帮助我们在视觉上整合所有的信息。这个强大的仪表盘使我们能够针对 influxdb 数据存储进行查询并将他们放在一个布局合理好看的图表中。
docker 监控的安装
我们需要一步一步的在我们的 docker 系统中安装以下每一个组件:
安装 influxdb
我们可以使用这个命令来拉取 influxdb 镜像,并部署了 influxdb 容器。
root@ubuntu:~# docker run -d -p 8083:8083 -p 8086:8086 --expose 8090 --expose 8099 -e pre_create_db=cadvisor --name influxsrv tutum/influxdb:0.8.8 unable to find image 'tutum/influxdb:0.8.8' locally 0.8.8: pulling from tutum/influxdb a3ed95caeb02: already exists 23efb549476f: already exists aa2f8df21433: already exists ef072d3c9b41: already exists c9f371853f28: already exists a248b0871c3c: already exists 749db6d368d0: already exists 7d7c7d923e63: pull complete e47cc7808961: pull complete 1743b6eeb23f: pull complete digest: sha256:8494b31289b4dbc1d5b444e344ab1dda3e18b07f80517c3f9aae7d18133c0c42 status: downloaded newer image for tutum/influxdb:0.8.8 d3b6f7789e0d1d01fa4e0aacdb636c221421107d1df96808ecbe8e241ceb1823 -p 8083:8083 : user interface, log in with username-admin, pass-admin -p 8086:8086 : interaction with other application --name influxsrv : container have name influxsrv, use to cadvisor link it.
你可以测试 influxdb 是否安装好,通过访问这个 url http://你的 ip 地址:8083,用户名和密码都是 ”root“。
influxdb administration 2016-08-01 14-10-08
我们可以在这个界面上创建我们所需的数据库。
createdb influx
安装 cadvisor
我们的下一个步骤是安装 cadvisor 容器,并将其链接到 influxdb 容器。你可以使用此命令来创建它。
root@ubuntu:~# docker run --volume=/:/rootfs:ro --volume =/var/run:/var/run:rw --volume=/sys:/sys:ro --volume= /var/lib/docker/:/var/lib/docker:ro --publish=8080:8080 --detach=true --link influxsrv:influxsrv --name=cadvisor google/cadvisor:latest -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086 unable to find image 'google/cadvisor:latest' locally latest: pulling from google/cadvisor 09d0220f4043: pull complete 151807d34af9: pull complete 14cd28dce332: pull complete digest: sha256:8364c7ab7f56a087b757a304f9376c3527c8c60c848f82b66dd728980222bd2f status: downloaded newer image for google/cadvisor:latest 3bfdf7fdc83872485acb06666a686719983a1172ac49895cd2a260deb1cdde29 root@ubuntu:~# --publish=8080:8080 : user interface --link=influxsrv:influxsrv: link to container influxsrv -storage_driver=influxdb: set the storage driver as influxdb specify what influxdb instance to push data to: -storage_driver_host=influxsrv:8086: the ip:port of the database. default is ‘localhost:8086' -storage_driver_db=cadvisor: database name. uses db ‘cadvisor' by default
你可以通过访问这个地址来测试安装 cadvisor 是否正常 http://你的 ip 地址:8080。 这将为你的 docker 主机和容器提供统计信息。
cadvisor - docker containers 2016-08-01 14-24-18
安装 grafana 控制面板
最后,我们需要安装 grafana 仪表板并连接到 influxdb,你可以执行下面的命令来设置它。
root@ubuntu:~# docker run -d -p 3000:3000 -e influxdb_host=localhost -e influxdb_port=8086 -e influxdb_name=cadvisor -e influxdb_user= root -e influxdb_pass=root --link influxsrv:influxsrv --name grafana grafana/grafana f3b7598529202b110e4e6b998dca6b6e60e8608d75dcfe0d2b09ae408f43684a
现在我们可以登录 grafana 来配置数据源. 访问 http://你的 ip 地址:3000 或 http://你的 ip 地址(如果你在前面做了端口映射的话):
用户名 - admin
密码 - admin
一旦我们安装好了 grafana,我们可以连接 influxdb。登录到仪表盘并且点击面板左上方角落的 grafana 图标(那个火球)。点击数据源(data sources)来配置。
addingdatabsource
现在你可以添加新的图形(graph)到我们默认的数据源 influxdb。
panelgraph
我们可以通过在测量(metric)页面编辑和调整我们的查询以调整我们的图形。
grafana - grafana dashboard 2016-08-01 14-53-40
grafana - grafana dashboard
总结
关于 docker 监控,你可用从此了解更多信息。 以上就是这篇文章的全部内容了,如果大家有什么疑问或问题留意留言交流,希望可以留下有价值的建议和评论。谢谢对的支持。