欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

缓存反向代理-Varnish

程序员文章站 2022-03-12 10:17:48
简介 Varnish是一款高性能、开源的缓存反向代理服务器。它从客户端接受请求,并尝试从缓存中响应请求,如果无法从缓存中提供响应,Varnish 向后端服务器发起请求,获取响应,将响应存储在缓存中,然后把响应发送给客户端。如果Varnish能够从Cache中响应一个请求,所消耗的时间是微秒级别的,这 ......

简介

varnish是一款高性能、开源的缓存反向代理服务器。它从客户端接受请求,并尝试从缓存中响应请求,如果无法从缓存中提供响应,varnish 向后端服务器发起请求,获取响应,将响应存储在缓存中,然后把响应发送给客户端。如果varnish能够从cache中响应一个请求,所消耗的时间是微秒级别的,这个响应速度比直接从http服务器响应请求的速度要快两个数量级,缓存命中率越高,网站的访问速度就越快。

主要特性

  • 缓存位置:可以使用内存也可以使用磁盘,如果要使用磁盘的话推荐ssd做raid1;
  • 日志存储:日志也存储在内存中,存储策略:固定大小,循环使用;
  • 支持虚拟内存的使用;
  • 有精确的时间管理机制,即缓存的时间属性控制;
  • 状态引擎架构:在不同的引擎上完成对不同的缓存和代理数据进行处理,可以通过特定的配置语言设计不同的控制语句,以决定数据在不同位置以不同方式缓存;
  • 缓存管理:以二叉堆格式管理缓存数据,做到数据的及时清理。

系统架构

缓存反向代理-Varnish

varnish主要有两个进程:management进程与child进程(也称为cache进程)。

  • management进程:主要对子进程进行管理,实现应用新的配置、编译vcl、监控varnish、初始化varnish以及提供一个命令行接口等;management进程会每隔几秒钟探测一下child进程以判断其是否正常运行,如果在指定的时长内未得到child进程的回应,management将会重启此child进程。
  • child进程:生成线程池,负责对用户请求进行处理,并通过hash查找返回用户结果。

    child进程包含多种类型的线程,常见的有:

    • accept线程:接收新的连接请求并响应;
    • worker线程:child进程会为每个会话启动一个worker线程,因此在高并发的场景中可能会出现数百个worker线程甚至更多;
    • object expiry线程:从缓存中清理过期内容;
    • commad line线程 : 管理接口;
    • storage/hashing线程:缓存存储;
    • log/stats线程:日志管理线程;
    • backend communication线程:管理后端主机线程。

日志

为了与系统的其它部分进行交互,child进程使用可以通过文件系统接口进行访问的共享内存日志(shared memory log),因此如果某线程需要记录信息,其仅需要持有一个锁,而后向共享内存中的某内存区域写入数据,再释放持有的锁即可;需要注意,为了减少竞争,每个worker线程都使用了日志数据缓存。

共享内存日志大小一般为90m,其分为两部分,前一部分为计数器,后半部分为客户端请求的数据。varnish提供了多个不同的工具,如varnishlog、varnishncsa或varnishstat等来分析共享内存日志中的信息并能够以指定的方式进行显示。

算法

varnish的director支持的挑选方法中主要有round-robin(轮询)和random(随机)两种。其中,round-robin类型没有任何参数,只需要为其指定各后端主机即可,并在某后端主机故障时不再将其视作挑选对象;random方法随机从可用后端主机中进行挑选,每一个后端主机都需要一个.weight参数指定其权重,同时还可以使用.retires参数来设定查找一个健康后端主机时的尝试次数。

varnish2.1.0后,random挑选方法又多了两种变化形式client和hash。client类型的director使用client.identity作为挑选因子,这意味着client.identity相同的请求都将被发送至同一个后端主机;client.identity默认为cliet.ip,但也可以在vcl中将其修改为所需要的标识符。类似地,hash类型的director使用hash数据作为挑选因子,这意味着对同一个url的请求将被发往同一个后端主机,其常用于多级缓存的场景中。无论是client还hash,当其倾向于使用后端主机不可用时将会重新挑选新的后端其机。

vcl工具

varnish configuration language(vcl),varnish配置缓存策略的工具,它是一种基于“域”(domain specific)的简单编程语言,可以使用运算符包括“ =、==、!、&& ”等,支持使用正则表达式进行字符串匹配,允许用户使用set自定义变量,支持if判断语句,也有内置的函数和变量等。vcl策略在启用前,会由management进程将其转换为c代码,而后再由gcc编译器将c代码编译成二进制程序,编译完成后management负责将其连接至varnish实例,即child进程。

后端存储

varnish支持多种不同类型的后端存储,这可以在varnishd启动时使用-s选项指定。后端存储的类型包括:

  • file:使用特定的文件存储全部的缓存数据,并通过操作系统的mmap()系统调用,将整个缓存文件映射至内存区域(如果条件允许);
  • malloc:使用malloc()库调用在varnish启动时向操作系统申请指定大小的内存空间以存储缓存对象;
  • persistent(experimental):与file的功能相同,但可以持久存储数据(即重启varnish数据时不会被清除),但仍处于测试阶段。

varnish无法追踪某缓存对象是否存入了缓存文件,也就无从得知磁盘上的缓存文件是否可用,因此file存储方法在varnish停止或重启时会清除数据;而persistent方法的出现对此有了一个弥补,但persistent仍处于测试阶段,其仅适用于有着巨大缓存空间的场景。

选择使用合适的存储方式有助于提升系统性。从经验的角度来看,建议在内存空间足以存储所有的缓存对象时使用malloc的方法,而file存储有着更好的性能表现。需要注意的是,varnishd实际上使用的空间比使用-s选项指定的缓存空间更大,一般说来,其需要为每个缓存对象多使用差不多1k左右的存储空间,这意味着,对于100万个缓存对象的场景来说,其使用的缓存空间将超出指定大小1g左右。另外,为了保存数据结构等,varnish自身也会占去不小的内存空间。

为varnishd指定使用的缓存类型时,-s 选项可接受的参数格式如下:

  • malloc [size] 或 file [path [size [granularity]]] 或 persistent path size {experimental}

vcl内置函数

  • vcl_recv函数:用于接收和处理请求。当请求到达并成功接收后被调用,通过判断请求的数据来决定如何处理请求。此函数一般以如下几个关键字结束:
    • pass:进入pass模式,把请求控制权交给vcl_pass函数;
    • pipe:进入pipe模式,把请求控制权交给vcl_pipe函数;
    • error code [reason]:返回code给客户端并放弃处理该请求;code是错误标识,例如200、405等;reason是错误提示信息。
  • vcl_pipe函数:此函数在进入pipe模式时被调用,用于将请求直接传递至后端主机,在请求和返回的内容没有改变的情况下,将不变的内容返回给客户端,直到这个链接关闭。此函数一般以如下几个关键字结束:
    • error code [reason]
    • pipe
  • vcl_pass函数:此函数在进入pass模式时被调用,用于将请求直接传递至后端主机,后端主机应答数据后送给客户端,但不进行任何缓存,在当前连接下每次都返回最新的内容。此函数一般以如下几个关键字结束:
    • error code [reason]
    • pass
  • vcl_hash:表示在缓存里查找被请求的对象,并且根据查找的结果把控制权交给函数vcl_hit或者函数vcl_miss
  • vcl_hit函数:在执行vcl_hash后,如果在缓存中找到请求的内容,将自动调用该函数。此函数一般以如下几个关键字结束:
    • deliver:表示将找到的内容发送给客户端,并把控制权交给函数vcl_deliver
    • error code [reason]
    • pass
  • vcl_miss函数:在执行val_hash后,如果没有在缓存中找到请求的内容时自动调用该方法,此函数可以用于判断是否需要从后端服务器取内容。此函数一般以如下几个关键字结束:
    • fetch:表示从后端获取请求的内容,并把控制权交给vcl_fetch函数
    • error code [reason]
    • pass
  • vcl_fetch函数:在从后端主机更新缓存并且获取内容后调用该方法,接着,通过判断获取的内容来决定是否将内容放入缓存,还是直接返回给客户端。此函数一般以如下几个关键字结束:
    • error code [reason]
    • pass
    • deliver
  • vcl_deliver函数:在缓存中找到请求的内容后,发送给客户端前调用此方法。此函数一般以如下几个关键字结束:
    • error code [reason]
    • deliver
  • vcl_timeout函数:此函数在缓存内容到期前调用。一般以如下几个关键字结束:
    • discard:表示从缓存中清除该内容。
    • fetch
  • vcl_discard函数:在缓存内容到期后或缓存空间不够时,自动调用该方法。此函数一般以如下几个关键字结束:
    • keep:表示将内容继续保留在缓存中
    • discard

以下是vcl处理流程图,通过下图可以更清楚varnish的工作过程:

缓存反向代理-Varnish

varnish处理 http请求 的过程分为以下几个步骤:

  • receive状态,也就是请求处理的入口状态,根据vcl规则判断该请求应该pass或pipe,或者进入lookup(本地查询);
  • pipe状态,不可缓存数据,直接管道后端处理;
  • lookup状态,进入此状态后,会在hash表中查找数据,若找到,则进入hit状态,否则进入miss状态;
  • pass状态,在此状态下,会进入后端请求,即进入fetch状态;
  • fetch状态,在fetch状态下,对请求进行后端获取,发送请求,获得数据,并进行本地存储;
  • deliver状态,将获取到的数据发送给客户端,然后完成本次请求。

vcl内置公用变量

  • 当请求到达后,可以使用的公用变量如下所示:
    • req.backend:指定对应的后端主机
    • server.ip:表示服务器端ip
    • client.ip:表示客户端ip
    • req.request:指定请求的类型,例如get、head、post等
    • req.url:指定请求的地址
    • req.proto:表示客户端发起请求的http协议版本
    • req.http.header:表示对应请求中的http头部信息
    • req.restarts:表示请求重启的次数,默认最大值为4
  • varnish 在向后端主机请求时,可以使用的公用变量如下所示:
    • beresp.request:指定请求的类型,例如get、head等
    • beresp.url:指定请求的地址
    • beresp.proto:表示客户端发起请求的http协议版本
    • beresp.http.header:表示对应请求中的http头部信息
    • beresp.ttl:表示缓存的生存周期,也就是cache保留多长时间,单位是秒
  • 从cache或者后端主机获取内容后,可以使用的公用变量如下所示:
    • obj.status:返回内容的请求状态代码,例如200、302、504等
    • obj.cacheable:返回的内容是否可以缓存,也就是说,如果http返回是200、203、300、301、302、404、410等,并且有非0的生存期,则可以缓存
    • obj.valid:表示是否是有效的http应答
    • obj.response:返回内容的请求状态信息
    • obj.proto:返回内容的http协议版本
    • obj.ttl:返回内容的生存周期,也就是缓存时间,单位是秒
    • obj.lastuse:返回上一次请求到现在的间隔时间,单位是秒
  • 对客户端应答时,可以使用的公用变量如下所示:
    • resp.status:返回客户端的http状态代码
    • resp.proto:返回客户端的http协议版本
    • resp.http.header:返回客户端的http头部信息
    • resp.response:返回客户端的http状态信息

  如果想要了解更多请查阅varnish官方文档 。