011.MongoDB性能监控
程序员文章站
2022-06-29 08:02:19
一 MongoDB 监控 1.1 监控概述 MongoDB自带了mongostat 和 mongotop 这两个命令来监控MongoDB的运行情况。这两个命令用于处理MongoDB数据库变慢等等问题非常有用，能详细的统计MongoDB当前的状态信息。除此之外，还可以用db.serverStatus( ......
一 mongodb 监控
1.1 监控概述
mongodb自带了mongostat 和 mongotop 这两个命令来监控mongodb的运行情况。这两个命令用于处理mongodb数据库变慢等等问题非常有用，能详细的统计mongodb当前的状态信息。除此之外，还可以用db.serverstatus()、db.stats()、开启profile功能通过查看日志进行监控分析。
1.2 模拟插入数据
1 [root@client ~]# mongo --host 172.24.8.71 -u admin -p admin
2 > use admin
3 > db.grantrolestouser( "admin",[{ role: "dbowner",db:"mydb" }])
4 > for(i=1;i<=50000;i++){db.user.insert({"id":i,"name":"jack"+i})}
二 相关命令
2.1 mongostat 命令
mongostat是mongodb自带的状态检测工具，在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态，并输出。捕捉并返回各种类型（如插入、 查询、 更新、 删除等）数据库操作的统计。
相关输出解释：
1 inserts/s #每秒插入次数 2 query/s #每秒查询次数 3 update/s #每秒更新次数 4 delete/s #每秒删除次数 5 getmore/s #每秒执行getmore次数 6 command/s #每秒的命令数，比以上插入、查找、更新、删除的综合还多，还统计了别的命令 7 dirty #仅仅针对wiredtiger引擎，脏数据字节的缓存百分比 8 used #仅仅针对wiredtiger引擎，正在使用中的缓存百分比 9 flushs/s #每秒执行fsync将数据写入硬盘的次数。
注意：flushs一般都是0，间断性会是1，通过计算两个1之间的间隔时间，可以大致了解多长时间flush一次。flush开销较大，如果频繁的flush，可能存在异常。
1 mapped/s #所有的被mmap的数据量，单位是mb， 2 vsize #虚拟内存使用量，单位mb 3 res #物理内存使用量，单位mb 4 faults/s #每秒访问失败数（只有linux有），数据被交换出物理内存，放到swap。不要超过100，否则就是机器内存太小，造成频繁swap写入。此时要升级内存或者扩展 5 locked % #被锁的时间百分比，尽量控制在50%以下吧 6 idx miss % #索引不命中所占百分比。如果太高的话就要考虑索引是不是少了 7 q t|r|w #当mongodb接收到太多的命令而数据库被锁住无法执行完成，它会将命令加入队列。这一栏显示了总共、读、写3个队列的长度，都为0的话表示mongo毫无压力。高并发时，一般队列值会升高。 8 qr #客户端等待从mongodb实例读数据的队列长度 9 qw #客户端等待从mongodb实例写入数据的队列长度 10 ar #执行读操作的活跃客户端数量 11 aw #执行写操作的活客户端数量
注意：如果这两个数值很大，即db的处理速度不及请求速度。可能存在开销很大的慢查询。如果查询一切正常，确实是负载很大，可能是资源不够。
1 conn #当前连接数，是qr,qw,ar,aw的总和 2 time #时间戳 3 net_in #mongodb实例的网络进流量 4 net_out #mongodb实例的网络出流量
注意：mongodb为每一个连接创建一个线程，线程的创建与释放也会有开销，所以尽量要适当配置连接数的启动参数，maxincomingconnections建议在5000以下，基本满足多数场景。
示例：
1 [root@client ~]# mongo --host 172.24.8.71 -u admin -p admin
2 > use admin
3 > db.grantrolestouser( "admin",[{ role: "clustermonitor",db:"admin" }])
4 [root@client ~]# mongostat -h 172.24.8.71 -u admin -p admin --authenticationdatabase admin --discover -n 30 3
参数说明
-discover：提供集群中所有节点的状态；
-n 30 3：表示输出30次，每次休眠3秒钟。
2.2 mongotop 命令
mongotop也是mongodb下的一个内置工具，mongotop提供了一个方法，用来跟踪一个mongodb的实例，查看哪些大量的时间花费在读取和写入数据。 追踪并报告mongodb实例当前的读取和写入活动，而且是基于每个集合报告这些统计数据。提供每个集合的水平的统计数据。默认情况下，mongotop返回值的每一秒。
相关输出解释：
1 ns #数据库命名空间，后者结合了数据库名称和集合。 2 db #数据库的名称。名为 . 的数据库针对全局锁定，而非特定数据库。 3 total #mongod在这个命令空间上花费的总时间。 4 read #在这个命令空间上mongod执行读操作花费的时间。 5 write #在这个命名空间上mongod进行写操作花费的时间。
示例：
1 [root@client ~]# mongotop -h 172.24.8.71 -u admin -p admin --authenticationdatabase admin -n 30 3
参数说明
1 -n 30 3：表示输出30次，每次休眠3秒钟。
2.3 profile
mongodb慢查询检查，profiler默认为关闭状态，可以选择全部开启，或者有慢查询的时候开启。
相关输出解释：
1 ts #时间戳
2 info #具体的操作
3 millis #操作所花时间，毫秒
4 [root@client ~]# mongo --host 172.24.8.71 -u admin -p admin
5 > use mydb
6 > db.setprofilinglevel(2) #开启profile
7 { "was" : 2, "slowms" : 100, "samplerate" : 1, "ok" : 1 }
8 > db.getprofilinglevel()
9 2
10 > use mydb
11 switched to db mydb
12 > db.system.profile.find().sort({$natural:-1}).pretty() #查看profile日志
13 > db.system.profile.count() #查看系统中的慢查询数量
14 6
注意：profile操作必须连接mongod进程，而mongos无法执行此类操作；
造成满查询可能是索引的问题，也可能是数据不在内存造成因此磁盘读入造成。
更多慢查询操作见官方文档：https://docs.mongodb.com/manual/tutorial/manage-the-database-profiler/
2.4 serverstatus
serverstatus命令，或mongo shell中的db.serverstatus()返回数据库状态的总览，具体包括磁盘使用状况、内存使用状况、连接、日志和可用的索引。此命令迅速返回，并不会影响mongodb性能。
1 > use mydb
2 > db.serverstatus() #只显示部分内容
3 {
4 "uptime" : 21.0, #表示此实例进程已激活的总时间，单位是秒
5 "localtime" : isodate("2017-07-09t05:28:17.007z"), #表示实例所在服务器的当前时间
6 "globallock" : {
7 "totaltime" : numberlong(20935000), #数据库启动后运行的总时间，单位是微秒
8 "currentqueue" : { #表示因为锁引起读写队列数
9 "total" : 0,
10 "readers" : 0, #等待读锁的操作数
11 "writers" : 0 #等待写锁的操作数
12 },
13 "activeclients" : { #连接的激活客户端写操作的总数
14 "total" : 10,
15 "readers" : 0, #激活客户端读操作数
16 "writers" : 0 #激活客户端写操作数
17 }
18 },
19 "mem" : { #表示当前内存使用情况
20 "bits" : 64, #mongod运行的目标机器的架构
21 "resident" : 96, #当前被使用的物理内存总量，单位mb
22 "virtual" : 271, #mongodb进程映射的虚拟内存大小，单位mb
23 "supported" : true, #表示系统是否支持可扩展内存
24 "mapped" : 0, #映射数据文件所使用的内存大小，单位mb
25 "mappedwithjournal" : 0 #映射journaling所使用的内存大小，单位mb
26 },
27 }
关键输出：
connections：当前连接和可用连接数，设个一个合理值，当到达这个值mongodb就拒绝新的连接请求，避免连接太多而影响性能。
indexcounters：btree:misses 索引的不命中数，和hits的比例高就要考虑索引是否正确建立。
2.5 db.stats()、db.c.stats()
mongodb数据文件状态指标命令: db.stats(), db.c.stats()，查看文件大小，存储空间大小等。返回一份针对存储使用情况和数据卷的文档，dbstats显示了存储的使用量、包含在数据库中的数据的总量以及对象、集合和索引计数器。
示例：
1 > use mydb
2 > db.stats()
3 {
4 "db" : "mydb", #当前数据库
5 "collections" : 2, #集合数量
6 "views" : 0,
7 "objects" : 50007, #对象（记录）数量
8 "avgobjsize" : 53.88963545103685, #对象平均大小
9 "datasize" : 2694859, #所有数据总大小
10 "storagesize" : 917504, #数据占磁盘大小
11 "numextents" : 0, #所有集合占用的区间总数
12 "indexes" : 1, #索引数
13 "indexsize" : 491520, #索引大小
14 "fsusedsize" : 2733277184,
15 "fstotalsize" : 27375431680,
16 "ok" : 1
17 }
提示：mongodb数据库磁盘占用大小=storagesize+indexes，压缩比=datasize/storagesize。
2.6 db.collection.stats()
在集合级别上提供类似dbstats的统计数据，包括集合中对象的计数、集合的大小、集合占用的硬盘空间总量以及集合索引的相关信息。
1 > use mydb 2 switched to db mydb 3 > db.user.stats()
2.7 db.currentop()
通常mongodb的命令一般很快就完成，但是在一台繁忙的机器或者有比较慢的命令时，可以通过db.currentop()获取当前正在执行的操作。
1 > db.currentop()
提示：若发现一个操作太长，导致数据库卡死，可以使用db.killop("110752")杀死。
2.8 rs.status()
mongodb副本集状态指标命令。
相关输出解释：
- 检查每个成员的state/statestr确认是否正常；
提示：state状态字段解释可参考官方：https://docs.mongodb.com/manual/reference/replica-states/或https://yq.aliyun.com/articles/405274。
- 检查每个成员的optimedate差异，查看复制延迟；
- 检查lastheartbeat、pingms值排查网络延迟问题
使用db.printreplicationinfo()输出节点oplog信息，可在主备节点输出对比
1 configured oplog size: 20480mb 2 log length start to end: 589911secs (163.86hrs) 3 oplog first event time: tue apr 03 2018 19:37:14 gmt+0800 4 oplog last event time: tue apr 10 2018 15:29:05 gmt+0800 5 now: tue apr 10 2018 15:30:18 gmt+0800
主节点使用db.printslavereplicationinfo()可输出备节点的同步信息
1 source: 135.177.126.24:10001 2 syncedto: tue apr 10 2018 15:32:45 gmt+0800 3 0 secs (0 hrs) behind the primary
三 motop监控工具
3.1 motop安装
motop是mongodb实时监控工具，可以同时对多个mongodb服务器进行监控，同时显示当前操作。
语法格式：
motop [-h] [-u username] [-p password] [-c conf] [-v] [-k autokillseconds] [host [host ...]]
开源项目地址：项目地址：https://github.com/tart/motop
1 [root@client ~]# yum -y install pymongo #安装以来 2 [root@client ~]# curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py 3 [root@client ~]# python get-pip.py 4 [root@client ~]# yum -y install git 5 [root@client ~]# pip install git+https://github.com/tart/motop.git
3.2 motop操作
q：退出
p：暂停
e：解释查询
k：使用“mongo”执行杀死操作
k：使用“mongo”执行杀死比给定秒数更早的操作
r：尝试重新连接到已断开连接的服务器
r：尝试重新连接到所有服务器
3.3 配置
配置文件：/etc/motop.conf，可以有多个配置段，每一节都可以包含以下参数。
1 address：服务器的地址（必需） 2 username：登陆用户名 3 password：登陆用户密码 4 status：显示状态（默认开启） 5 replicationinfo：显示复制状态（默认值：开启） 6 replicaset：显示副本集的状态（默认值：开启） 7 operations：显示操作（默认值：开启） 8 replicationoperations：不断展现主和从的复制操作（默认值：开启） 9 “default”：是特殊的部分，参数可以在本节中设置为默认值。
3.4 监控
1 [root@client ~]# motop -h #查看帮助 2 [root@client ~]# vi /etc/motop.conf 3 [mongodb01] 4 address=172.24.8.71 5 username=admin 6 password=admin 7 replicationinfo=off 8 9 [mongodb02] 10 address=172.24.8.72 11 username=admin 12 password=admin 13 replicationinfo=off
四 影响性能相关因素
4.1 锁
mongodb用一个锁确保数据的一致性。但如果某种操作时间运行，其他请求和操作将不得不等待这个锁，导致系统性能降低。为了验证是否由于锁降低了性能，可以坚持serverstatus输出的globallock部分的数据。如果参数globallock.currentqueue.total的值一直较大，说明系统中有许多请求在等待锁，同时表明并发问题影响了系统的性能。
4.2 内存
mongodb通过内存映射数据文件，如果数据集很大，mongodb将占用所有可用的系统内存。正式由于内存映射机制将内存的管理交给操作系统来完成，简化了mongodb的内存管理，提高了数据库系统的性能，但是由于不能确定数据集的大小，需要多少内存也是个未知数。
通过serverstatus输出的关于内存使用状态方面的数据，我们能够深入地了解内存使用情况。检查参数mem.resident的值，如果超过了系统内存量并且还有大量的数据文件在磁盘上，表明内存过小。检查mem.mapped的值，如果这个值大于系统内存量，那么针对数据库的一些读操作将会引起操作系统的缺页操作，内存的换入换出将会降低系统的性能。
4.3 连接数
有时候，客户端的连接数超过了mongodb数据库服务器处理请求的能力，这也会降低系统的性能。可以通过serverstatus输出的关于连接数方面的参数进一步分析。参数globallock.activeclients表示当前正在进行读写操作客户端的连接数，current表示当前客户端到数据库实例的连接数，available表示可用连接数。对于读操作大的应用程序，我们可以增加复制集成员数，将读操作分发到secondary节点上，对于写操作大的应用程序，可以通过部署分片集群来分发写操作。
五 web图形界面
5.1 开启web
从3.6版本后废弃了web界面，基于安全性考虑官方不推荐开启http。3.6之前的版本可参考官方方法开启：
https://docs.mongodb.com/v3.2/reference/configuration-options/
参考链接：
https://www.cnblogs.com/littleatp/p/8419647.html
https://blog.csdn.net/chen_victor/article/details/74855050
上一篇： 如何快速上手基础的CSS3动画
下一篇： 博科光纤交换机常用指令