Java page cache回写机制案例详解

java写文件的基本流程

在不使用堆外内存的情况下，java在写文件时，先将字节写入jvm的堆内内存中；然后调用jvm的写文件函数，将字节写入jvm的堆外内存中，jvm再调用系统内核的写文件函数，将字节写入内核的heap中；然后内核将字节写入page cache中，将page cache状态改为dirty，根据page cache的回写机制在合适的时机将字节写入磁盘。

page cache 自动回写机制

page cache的回写时机由系统配置/etc/sysctl.conf 中的几个参数决定，分别是：

• dirty_background_bytes

默认值：0  表示不启用

当脏页所占的内存大小超过dirty_background_bytes时，内核的pdflush线程会从后台开始回写脏页，不会影响应用程序的后序io操作。

• dirty_background_ratio   

默认值 ：10

参数意义：当脏页所占的百分比（相对于所有可用内存，即空闲内存页+可回收内存页）达到dirty_background_ratio时内核的pdflush线程从后台开始回写脏页，不会影响应用程序的后序io操作。增大会使用更多内存用于缓冲，可以提高系统的读写性能。当需要持续、恒定的写入场合时，应该降低该数值。

注意：dirty_background_bytes参数和dirty_background_ratio参数是相对的，只能指定其中一个。当其中一个参数文件被写入时，会立即开始计算脏页限制，并且会将另一个参数的值清零。

• dirty_bytes

默认值：0  表示不启用

当脏页所占的内存数量达到dirty_bytes时，内核将脏页中的数据刷入磁盘并阻塞后序的io操作。

 注意：dirty_bytes参数和dirty_ratio参数是相对的，只能指定其中一个。当其中一个参数文件被写入时，会立即开始计算脏页限制，并且会将另一个参数的值清零

• dirty_ratio

默认值：20

参数意义：当脏页所占的百分比（相对于所有可用内存，即空闲内存页+可回收内存页）达到dirty_ratio时，内核将脏页中的数据刷入磁盘并阻塞后序的io操作。

• dirty_background_ratio与dirty_ratio比较

dirty_ratio是属于强制性的回写,也就是说当一个内存区的脏页达到这个比例时就会触发内核内存管理把脏页强制回写的流程,但dirty_background_ratio是属于软性的行为,因为这是透过pdflush内核线程进行的流程,可以在后台执行对这些脏页面回写,并不会因此影响到当下正在执行中的过程。 所以看linux内核中预设的比例是脏页达到5%的比例时就会先透过pdflush内核线程进行回写,当脏页达到10%比例时,就等于是一个很严重的状况,此时就会在平衡脏页面流程中触发强制的回写,让系统可以回复到原本预设合理的状态。

• dirty_expire_centisecs

默认值：3000

参数意义：用来指定脏数据能存活的时间。指定的值是按100算做一秒计算。只有当超过这个值后，才会被内核进程pdflush写到磁盘。

• dirty_writeback_centisecs

默认值：500

参数意义：pdflush回写的频率，每次的唤醒的间隔，是以数字100算做1秒。如果将这项值设为500就相当5秒唤醒pdflush进程。如果将这项值设为0就表示完全禁止定期回写数据。

• drop_caches

向/proc/sys/vm/drop_caches文件中写入数值可以使内核释放page cache，dentries和inodes缓存所占的内存。

  只释放pagecache：

echo 1 > /proc/sys/vm/drop_caches

  只释放dentries和inodes缓存：

echo 2 > /proc/sys/vm/drop_caches

  释放pagecache、dentries和inodes缓存：

echo 3 > /proc/sys/vm/drop_caches

  这个操作不是破坏性操作，脏的对象（比如脏页）不会被释放，因此要首先运行sync命令。

注：这个只能是手动释放

测试

采用javabio不断向一个文件写入数据，通过pcstat观察page cache的大小。文件初始状态：

[root@node01 ~]# ll test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 aug  1 19:58 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     nan |
+----------+----------------+------------+-----------+---------+

dirty_background_bytes测试

将脏页阈值设置为10mb，脏页存活时间设置为5000s，当脏页大小不足10mb时，绝对不会被刷入磁盘，当脏页大小超过10mb,但是存活时间不超过5000s时，满足dirty_background_bytes的条件，被刷入磁盘。

#修改系统配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于测试，设为10485760  10mb 
vm.dirty_background_bytes = 10485760
#便于测试，设为104857600  100mb 
vm.dirty_bytes = 104857600
#便于测试，设为500000  5000s
vm.dirty_writeback_centisecs = 500000
#便于测试，设为30000 5min
vm.dirty_expire_centisecs = 30000
 
#加载系统配置
[root@node01 ~]# sysctl -p
 
 

当page cache大小超过10mb前，停止写入，关闭电源，重启设备。

关机前page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7k aug  1 20:20 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1660           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）

重启后page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 aug  1 20:20 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     nan |
+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失，由于没有达到后台自动刷入磁盘的阈值（dirty_background_bytes），page cache内的数据丢失。

当page cache大小超过10mb后，停止写入，关闭电源，重启设备。

关机前page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 37m aug  1 20:26 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 37985420       | 9274       | 9274      | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）

重启后page cache状态及文件大小。

[root@node01 ~]#  ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 30m aug  1 20:26 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 31035392       | 7577       | 0         | 000.000 |
+----------+----------------+------------+-----------+---------+

之前写入的数据部分丢失，每次达到后台自动刷入磁盘的阈值（dirty_background_bytes）时内核都会进行一次刷入操作，而没有达到阈值的部分就会丢失。关机前37m，关机后30m，自动刷入阈值设置为10m，37-10=7m，这7m数据没有被刷入磁盘，重启后丢失。

dirty_expire_centisecs测试

将脏页阈值设置为100mb，检测频率设置为1s，脏页存活时间设置为15s。这样可以达到这样一个测试目的，当我的page cache大小未到达100mb时，由于超过了存活时间15s,检测的又很及时，几乎可以被全部刷入磁盘。为什么说几乎呢？因为不管怎么样，靠检测频率自动刷入机制终究会丢失检测真空期的数据。脏页在每次刷入磁盘后重写前都是干净的状态。

#修改系统配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于测试，设为104857600  100mb 
vm.dirty_background_bytes = 104857600
#便于测试，设为104857600  100mb 
vm.dirty_bytes = 104857600
#便于测试，设为1500  15s
vm.dirty_writeback_centisecs = 1500
#便于测试，设为100 1s
vm.dirty_expire_centisecs = 100
 
#加载系统配置
[root@node01 ~]# sysctl -p
 
 

当page cache大小超过100mb前，停止写入,未超过15s，关闭电源，重启设备。

关机前page cache状态及文件大小。

-rw-r--r--. 1 root root 150 aug  1 20:44 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 150            | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）

重启后page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 0 aug  1 20:44 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     nan |
+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失，由于没有超过脏页存活时间，page cache内的数据丢失。

当page cache存活超过15s后，关闭电源，重启设备。

关机前page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7k aug  1 20:48 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1680           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）

重启后page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt 
-rw-r--r--. 1 root root 1.7k aug  1 20:48 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 1680           | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+
 

超过15s且被检测到的数据全部保留

dirty_writeback_centisecs测试

将脏页阈值设置为100mb，检测频率设置为15s，脏页存活时间设置为1s。这样可以达到这样一个测试目的，当我的page cache大小未到达100mb时，且超过了存活时间1s,由于检测的不及时，导致超过存活时间的数据还是没有被刷入磁盘。

#修改系统配置
[root@node01 ~]# vi /etc/sysctl.conf
...
#便于测试，设为104857600  100mb 
vm.dirty_background_bytes = 104857600
#便于测试，设为104857600  100mb 
vm.dirty_bytes = 104857600
#便于测试，设为100  1s
vm.dirty_writeback_centisecs = 100
#便于测试，设为1500 15s
vm.dirty_expire_centisecs = 1500
 
#加载系统配置
[root@node01 ~]# sysctl -p
 
 

当page cache大小超过100mb前，停止写入,未超过15s，关闭电源，重启设备。

关机前page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt
-rw-r--r--. 1 root root 550 aug  1 21:02 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 550            | 1          | 1         | 100.000 |
+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）

重启后page cache状态及文件大小。

[root@node01 ~]#  ll -h test.txt && pcstat test.txt
-rw-r--r--. 1 root root 0 aug  1 21:04 test.txt
+----------+----------------+------------+-----------+---------+
| name     | size (bytes)   | pages      | cached    | percent |
|----------+----------------+------------+-----------+---------|
| test.txt | 0              | 0          | 0         |     nan |
+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失，虽然超过脏页存活时间，但是没有到检测时间，page cache内的数据丢失。

到此这篇关于java page cache回写机制案例详解的文章就介绍到这了,更多相关java page cache回写机制内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！