hugepages使用出现kswapd导致系统负载突然上升

在运行Oracle 数据库的linux 服务器上，某个时间段的每分钟负载会突然上升到40 以上，在进程队列里看到kswapd0 出现，导致数据库

在运行Oracle 数据库的linux 服务器上，某个时间段的每分钟负载会突然上升到40 以上，在进程队列里看到kswapd0 出现，导致数据库无响应，持续时间数分钟。
对于应用而言，这个时间段有明显的停滞感，像系统已经挂掉了一样。
如果这是发生在Oracle RAC 环境中某一个节点上，那么这个节点就可能会重启。
这属于非常严重和致命的问题。

1. 问题
环境是这样，数据库服务器的内存96GB ，操作系统linux RedHat 5 ，采用hugepages 管理部分内存，运行一个数据库实例，数据库系统版本为10.2.0.4 。
数据库实例中sga_max_size 的值为48GB, pga_aggregate_target 的值为24GB 。
还有个实例为ASM ，用于存储数据库的数据文件等。
性能摇摆期间的top 显示的结果如下：

top - 13:21:11 up 49 days, 21:52, 4 users, load average: 42.76, 14.42, 6.12
Tasks: 471 total, 26 running, 444 sleeping, 0 stopped, 1 zombie
Cpu(s): 87.2%us, 12.2%sy, 0.0%ni, 0.1%id, 0.1%wa, 0.1%hi, 0.2%si, 0.0%st
Mem: 98989932k total, 98152840k used, 837092k free, 2056k buffers
Swap: 50331636k total, 12554316k used, 37777320k free, 37715224k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1057 root 20 -5 0 0 0 R 100.2 0.0 991:39.65 [kswapd0]

zzz ***Fri Jun 29 13:21:35 CST 2012

top - 13:21:39 up 49 days, 21:52, 4 users, load average: 28.99, 13.85, 6.19
Tasks: 471 total, 2 running, 468 sleeping, 0 stopped, 1 zombie
Cpu(s): 0.2%us, 8.4%sy, 0.0%ni, 91.3%id, 0.1%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 98989932k total, 98104680k used, 885252k free, 3028k buffers
Swap: 50331636k total, 12801004k used, 37530632k free, 37606456k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1057 root 20 -5 0 0 0 R 100.3 0.0 992:07.44 [ kswapd0 ]
12530 root 15 0 13032 1400 812 R 0.7 0.0 0:00.03 top -b -c -n 2
1376 root 10 -5 0 0 0 S 0.3 0.0 22:00.23 [scsi_eh_1]

可以明显看到服务器的一分钟负载上升的很厉害，都到42 了，而正常才4 左右。在运行的进程队列中，看到 kswapd0 。
操作系统每过一定时间就会唤醒kswapd ，看看内存是否紧张，如果不紧张，则睡眠，在 kswapd 中，有2 个阀值, pages_hige和pages_low,当空闲内存页的数量低于 pages_low 的时候, kswapd进程就会扫描内存并且每次释放出32 个free pages,直到 free page 的数量到达pages_high.

通过检查vmstat 的输出结果，发现在那个时间段内，系统的页面换入换成现象很严重。
zzz ***Fri Jun 29 13:22:05 CST 2012
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
7 0 13022188 919216 3064 37429916 27 17 203 559 0 0 3 1 95 1 0
4 0 13040224 914712 3116 37411924 680 2196 1450 2844 1387 1654 13 10 77 0 0
2 0 13058536 919060 3216 37395064 104 1444 1118 1492 1235 839 16 9 75 0 0
zzz ***Fri Jun 29 13:22:35 CST 2012
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
9 0 13573224 912300 3356 36885376 27 17 203 559 0 0 3 1 95 1 0
8 0 13573088 913408 3368 36885224 276 0 3740 5643 1643 7707 31 9 60 0 0
1 0 13572892 913300 3368 36885920 252 0 374 3955 2209 9632 14 9 77 0 0

就是说，问题是内存紧张了，导致了交换分区频繁使用到。kswapd0 进程需要换入换出虚拟内存磁盘空间，导致了系统出现短时间摇摆。
操作系统的物理内存有25576 个page 没有被使用，所以肯定会有kswap 进程执行虚拟内存换页操作。

2. 分析
问题既然发生在内存使用上，但我们的服务器物理内存配置是96GB ，数据库实例的内存配置也是合理的。
但在vmstat 确实有交换分区的换页情况发生。
我们需要分析的是，这96GB 的内存都是如何使用的呢？
在环境介绍中，我们介绍了使用大内存管理模式管理内存的。因此，我们首先查询系统内存信息中关于大内存的使用情况。
[root@db3 ~]# cat /proc/meminfo |grep -i huge
HugePages_Total: 25576
HugePages_Free: 25517
HugePages_Rsvd: 4
Hugepagesize: 2048 kB

哇，看到结果大吃一惊。大内存有25517 个页面没有使用，一个页面大小是2MB ，也就是说有51034MB 内存被大内存管理机制限制了，属于空闲状态，而系统上其他进程也无法使用到。只有59 个页面合计118MB 的内存使用到了。
（注，为什么新进程如何使用到该内存区域，而是使用虚拟内存空间呢？这是一个疑问。可能是新数据库实例的SGA 已经使用了剩余的48 内存，还不够用，所以用到虚拟内存。）

在系统配置中，hugepages 的大小设置为25576 ，计48GB 内存，是物理内存的一半。
[root@db3 ~]# sysctl -p
vm.nr_hugepages = 25576

使用ipcs –m 看到oracle 用户下使用的共享内存段如下所示：
------ Shared Memory Segments --------
key shmid owner perms bytes nattch status
0xb0af65c0 3047451 oracle 600 132120576 13
0x4507bd98 3702814 oracle 640 51541704704 132
最大的51541704704 字节，计49154MB 。这个SGA 中所有 'shared_pool_size' , 'large_pool_size' , 'java_pool_size' , 'streams_pool_size' , 'db_cache_size' 大小之和。
Oracle 用户的共享内存段完全没有使用到hugepages 。

再检查系统日志，发现之前有一个oracle 的实例使用到该hugepages ，而现在的实例是后来启动的，所以使用到另外的内存。
后来前一个实例关闭了，但hugepages 中的内存空间却一直空闲下来，新的实例也不能使用到这个内存空间。

3. 解决
问题分析到这里，，其实已经有解决方法了。
我们重启了一下数据库实例，就可以使用该hugepages 内存空间。
如果实例不能重启，我们也可以通过设置nr_hugepages 的值降低设置。但这只是个人建议，不排除有新的问题出现。

4. 技术hugepages
如果需要增大hugepages 大小，需要重启操作系统。
如果您认为这就是一个内存参数值，可以使用sysctl –w 修改的。这点是不正确的。这里涉及到内存管理方面，hugepages 需要大量连续的内存区域，否则严重的内存碎片会影响到系统的性能。

linux 的hugepages 技术随着近年大内存服务器陆续上市，逐步推广使用，因此关于hugepages 的问题也随着而来。
本文是在hugepages 使用中遇到的问题的解决分析总结。