WEB缓存系统之varnish缓存项修剪
关于varnish的缓存项修剪；
什么是缓存项修剪？所谓修剪我个人的理解是把多余的部分或者不需要的部分删除掉；对于varninsh来讲，缓存项修剪也叫缓存项删除；我们在varnish服务器上可以通过vcl语言来编写缓存策略，对于某些缓存该如何缓存，缓存多久等等；假如我们在定义好缓存策略后，在定义缓存过期时间内，后端服务器内容发生了变化，或者后端服务器发生了内容更新，我们如果不把varnish上的缓存修剪掉，对于用户来讲，用户的访问就不是最新的数据；为了解决这样的问题，我们需要人工手动的去修剪缓存项；而修剪缓存项一般都是针对某一类资源或特定资源来做修剪（通过用户指定或正在匹配），一般不会也不应该是全部；在varnish中，修剪缓存的方式有两种，一种是vcl_purge状态引擎修剪（通过判断用户的某些请求首部特征，来对用户指定的资源进行修剪），一种是内部函数ban()来修剪缓存（通常在命令行执行ban命令修剪缓存）；
首先我们来看看varnish的默认配置中如何定义vcl_purge这个状态引擎的；
[root@test_node1-centos7 ~]# varnishadm -s /etc/varnish/secret -t 127.0.0.1:6082 "vcl.show -v boot"|grep -a3 purge
sub vcl_purge {
return (synth(200, "purged"));
}
[root@test_node1-centos7 ~]#
提示：从上面默认配置中可以看到对于vcl_purge的配置很简单；以上配置表示如果上一个状态引擎把报文送给purge这个状态引擎后，purge状态引擎的操作就是把对应报文送给synth()，并合成一个200的响应码，消息状态是purged的合成页面响应给客户端；以上就是告诉客户端缓存项修剪成功；
了解了purge的处理机制后，我们在来看看缓存项的修剪应该在那个状态引擎中定义；通常在接收到用户请求后，就需要修剪缓存；这样用户才可以拿到最新页面；所以我们在定义缓存的修剪操作应该在vcl_recv中定义；比如判断用户的请求方法，如果用户请求的方法是我们自定义的请求方法，我们就把这类请求直接交给purge处理；
提示：红框中的内容就是来判断用户的请求方法，如果请求方法是“purge” 那么就把对应的请求交给purge去处理；
测试：用curl命令指定特定的请求方法去访问varnish对外提供的页面；通过判断响应报文中，之前我们定义的x-cache首部的值来判断是否命中缓存；如果我们使用了purge方法后，第二次正常方式访问应该是miss的，第三次访问时hit就表示修剪缓存项成功；
[root@test_node1-centos7 ~]# varnishadm -s /etc/varnish/secret -t 127.0.0.1:6082
200
-----------------------------
varnish cache cli 1.0
-----------------------------
linux,3.10.0-693.el7.x86_64,x86_64,-sfile,-smalloc,-hcritbit
varnish-4.0.5 revision 07eff4c29
type 'help' for command list.
type 'quit' to close cli session.
varnish> vcl.load test default.vcl
200
vcl compiled.
varnish> vcl.use test
200
vcl 'test' now active
varnish> quit
500
closing cli connection
[root@test_node1-centos7 ~]# curl -i http://192.168.0.99:8000
http/1.1 200 ok
date: thu, 09 apr 2020 04:57:49 gmt
server: apache/2.4.6 (centos) openssl/1.0.2k-fips
strict-transport-security: max-age=31536000
last-modified: tue, 31 mar 2020 14:56:54 gmt
etag: "2f-5a227c743121d"
content-length: 47
content-type: text/html; charset=utf-8
x-varnish: 65541
age: 0
via: 1.1 varnish-v4
x-cache: miss via 192.168.0.99
connection: keep-alive
[root@test_node1-centos7 ~]# curl -i http://192.168.0.99:8000
http/1.1 200 ok
date: thu, 09 apr 2020 04:57:49 gmt
server: apache/2.4.6 (centos) openssl/1.0.2k-fips
strict-transport-security: max-age=31536000
last-modified: tue, 31 mar 2020 14:56:54 gmt
etag: "2f-5a227c743121d"
content-length: 47
content-type: text/html; charset=utf-8
x-varnish: 32772 65542
age: 3
via: 1.1 varnish-v4
x-cache: hit via 192.168.0.99
connection: keep-alive
[root@test_node1-centos7 ~]# curl -x "purge" http://192.168.0.99:8000
<!doctype html>
<html>
<head>
<title>200 purged</title>
</head>
<body>
<h1>error 200 purged</h1>
<p>purged</p>
<h3>guru meditation:</h3>
<p>xid: 65544</p>
<hr>
<p>varnish cache server</p>
</body>
</html>
[root@test_node1-centos7 ~]# curl -i http://192.168.0.99:8000
http/1.1 200 ok
date: thu, 09 apr 2020 04:58:11 gmt
server: apache/2.4.6 (centos) openssl/1.0.2k-fips
strict-transport-security: max-age=31536000
last-modified: tue, 31 mar 2020 14:56:54 gmt
etag: "2f-5a227c743121d"
content-length: 47
content-type: text/html; charset=utf-8
x-varnish: 32774
age: 0
via: 1.1 varnish-v4
x-cache: miss via 192.168.0.99
connection: keep-alive
[root@test_node1-centos7 ~]# curl -i http://192.168.0.99:8000
http/1.1 200 ok
date: thu, 09 apr 2020 04:58:11 gmt
server: apache/2.4.6 (centos) openssl/1.0.2k-fips
strict-transport-security: max-age=31536000
last-modified: tue, 31 mar 2020 14:56:54 gmt
etag: "2f-5a227c743121d"
content-length: 47
content-type: text/html; charset=utf-8
x-varnish: 32777 32775
age: 3
via: 1.1 varnish-v4
x-cache: hit via 192.168.0.99
connection: keep-alive
[root@test_node1-centos7 ~]#
提示：我们用purge方法去请求对应资源后，再用正常的get方法去获取资源，对应响应报文首部x-cache的值就变成miss的，说明没用从缓存中命中；再次访问x-cache的值变成hit，说明从缓存中命中，这是因为第一次缓存修剪后，第二次访问就把该资源缓存到varnish上，再次访问varnish就直接从缓存中给我们响应；
其实通过请求方法来判缓存项是否该修剪，其实很危险的；就以上面的配置，任何人都可以通过purge方法去修剪缓存，这很显然是不能也不应该的；所以我们还需要限定那些用户可以执行purge方法去修剪缓存；在varnish中添加访问控制法则需要用acl关键指定，然后起一名称，把对应的ip地址或网段地址写进去；如下
提示：以上就表示定义了一个访问控制法则，其名称叫做allow_purge_method_clients；其中这里面写ip地址需要用双引号引起来，并用分号结束；对于网段地址掩码位数需要写在双引号外；
定义好访问控制规则后，我们在原有的判断用户请求方法中加入限定ip地址的操作；
提示：以上红框中的内容表示如果用户请求的方法是purge，ip地址不匹配我们指定的ip地址法则，那么就返回合成403响应码给客户；如果匹配就执行purge操作；
测试：用192.168.0.99这台主机用"purge"方法请求修剪和用192.168.0.22这台主机用"purge"方法修剪缓存，如果我们定义的缓存策略正确的话，第一台主机应该是可以修剪缓存的，第二台主机会提示不运行修剪缓存，响应403;
提示：从上面的示例可以看到通过不同ip的主机对varnish发起“purge”方法修剪缓存，在自定义访问控制法则中存在的ip就可以通过“purge”方法来修剪缓存，相反不再acl控制发展中的ip地址主机，就不被允许修剪缓存；
以上是通过编写vcl来判断用户的请求方法实现缓存修剪，除此之外varnish还支持内建命令ban来修剪缓存;接下来我们来看看用内建命名ban怎么修剪缓存；
首先我们可以来查看下ban命令的用法；
提示：以上就是ban命令的用法，其中field表示用户请求的某些首部，比如req.http.host、req.url等；operaror表示操作符 ，arg表示参数；
示例：修剪用户请求资源是index.html内容
提示：以上红框中的内容就相当于判断用户请求的url，如果匹配/index.html，就return(synth(200));意思就是说对用户请求的/index.html的缓存项进行修剪（删除）；所以用户再次访问该url就不会从缓存响应；
测试：
提示：把/index.html的缓存项修剪以后，用户再次访问到/index.html资源时，从响应首部就可以知道它没有被缓存命中；说明缓存项修剪时成功的；
当然在命令行中可以直接使用ban命令修剪缓存，在配置文件中，我们也可以来使用ban函数来对缓存项进行修剪；如下
提示：以上红框中的内容表示用户的请求方法是ban 就执行ban("req.http.host == " + req.http.host + "&& req.url ==" + req.url)，然后通过synth()合成一响应码为200的页面响应给用户；这里的ban函数参数部分就是一字符串合成；如果用户请求的host是192.168.0.99 ,url是/index.html;那么ban函数参数部分就是req.http.host == 192.168.0.99:8000 && req.url == /index.html ，就相当在命令行执行ban req.http.host == 192.168.0.99:8000 && req.url == /index.html ；这里特别提示“&&”和 “==”号两边必须要有空格，否则会把&&识别成req.http.host的值的一部分；
测试
提示：我们在配置文件利用判断用户请求的方法来修剪缓存项，这种方式同purge的方式类似，都需要用acl去控制可以执行修剪操作的客户端；通常情况下我们如果是临时修剪缓存项，用ban命令在命令行修剪，很少写在配置文件中，通过特定的请求方法去修剪特定的资源缓存；而purge和ban相反，purge常用于在配置文件中用特定的请求方法修剪指定的url资源缓存项；
上一篇： Mysql快速入门