使用ETags减少Web应用带宽和负载第1/2页

介绍

最近，大众对于rest风格应用架构表现出强烈兴趣，这表明web的优雅设计开始受到人们的注意。现在，我们逐渐理解了“3w架构（architecture of the world wide web）”内在所蕴含的可伸缩性和弹性，并进一步探索运用其范式的方法。本文中，我们将探究一个可被web开发者利用的、鲜为人知的工具，不引人注意的“etag响应头（etag response header）”，以及如何将它集成进基于spring和hibernate的动态web应用，以提升应用程序性能和可伸缩性。

我们将要使用的spring框架应用是基于“宠物诊所（petclinic）”的。下载文件中包含了关于如何增加必要的配置及源码的说明，你可以自己尝试。

什么是“etag”？

http协议规格说明定义etag为“被请求变量的实体值” （参见 http://www.w3.org/protocols/rfc2616/rfc2616-sec14.html —— 章节 14.19）。 另一种说法是，etag是一个可以与web资源关联的记号（token）。典型的web资源可以一个web页，但也可能是json或xml文档。服务器单独负责判断记号是什么及其含义，并在http响应头中将其传送到客户端。

etag如何帮助提升性能？

聪明的服务器开发者会把etags和get请求的“if-none-match”头一起使用，这样可利用客户端（例如浏览器）的缓存。因为服务器首先产生etag，服务器可在稍后使用它来判断页面是否已经被修改。本质上，客户端通过将该记号传回服务器要求服务器验证其（客户端）缓存。

其过程如下：

1. 客户端请求一个页面（a）。
2. 服务器返回页面a，并在给a加上一个etag。
3. 客户端展现该页面，并将页面连同etag一起缓存。
4. 客户再次请求页面a，并将上次请求时服务器返回的etag一起传递给服务器。
5. 服务器检查该etag，并判断出该页面自上次客户端请求之后还未被修改，直接返回响应304（未修改——not modified）和一个空的响应体。

本文的其余部分将展示在基于spring框架的web应用中利用etag的两种方法，该应用使用spring mvc。首先我们将使用servlet 2.3 filter，利用展现视图（rendered view）的md5校验和（checksum）以实现生成etag的方法（一个“浅显的”etag实现）。 第二种方法使用更为复杂的方法追踪view中所使用的model，以确定etag有效性（一个“深入的”etag实现）。尽管我们使用的是spring mvc，但该技术可以应用于任何mvc风格的web框架。

在我们继续之前，强调一下这里所展现的是提升动态产生页面性能的技术。已有的优化技术也应作为整体优化和应用性能特性调整分析的一部分来考虑。（见下）。

自顶向下的web缓存

本文主要涉及对动态生成页面使用http缓存技术。当考虑提升web应用的性能的时候，应采取一个整体的、自顶向下的方法。为了这一目的，理解http请求经过的各层是很重要的，应用哪些适当的技术取决于你所关注的热点。例如：

• 将apache作为servlet容器的前端，来处理如图片和javascript脚本这样的静态文件，而且还可以使用fileetag指令创建etag响应头。
• 使用针对javascript文件的优化技术，如将多个文件合并到一个文件中以及压缩空格。
• 利用gzip和缓存控制头（cache-control headers）。
• 为确定你的spring框架应用的痛处所在，可以考虑使用 jamonperformancemonitorinterceptor。
• 确信你充分利用orm工具的缓存机制，因此对象不需要从数据库中频繁的再生。花时间确定如何让查询缓存为你工作是值得的。
• 确保你最小化数据库中获取的数据量，尤其是大的列表。如果每个页面只请求大列表的一个小子集，那么大列表的数据应由其中某个页面一次获得。
• 使放入到http session中的数据量最小。这样内存得到释放，而且当将应用集群的时候也会有所帮助。
• 使用数据库明细（database profiling）工具来查看在查询的时候使用了什么索引，在更新的时候整个表没有被上锁。

当然，应用性能优化的至理名言是：两次测量，一次剪裁（measure twice, cut once）。哦，等等，这是对木工而言的！没错，但是它在这里也很适用！

etag filter内容体

我们要考虑的第一种方法是创建一个servlet filter，它将基于页面（mvc中的“view”）的内容产生其etag 记号。乍一看，使用这种方法所获得的任何性能提升看起来都是违反直觉的。我们仍然不得不产生页面，而且还增加了产生记号的计算时间。然而，这里的想法是减少带宽使用。在大的响应时间情形下，如你的主机和客户端分布在这个星球的两端，这很大程度上是有益的。我曾见过东京办公室使用纽约服务器上托管的应用，其响应时间达到了 350 ms。随着并发用户数的增长，这将变成巨大的瓶颈。

代码

我们用来产生记号的技术是基于从页面内容计算md5哈希值。这通过在响应之上创建一个包装器来实现。该包装器使用字节数组来保存所产生的内容，在filter链处理完成之后我们利用数组的md5哈希值计算记号。

dofilter方法的实现如下所示。
public void dofilter(servletrequest req, servletresponse res, filterchain chain) throws ioexception,
servletexception {
httpservletrequest servletrequest = (httpservletrequest) req;
httpservletresponse servletresponse = (httpservletresponse) res;

  bytearrayoutputstream baos = new bytearrayoutputstream();
etagresponsewrapper wrappedresponse = new etagresponsewrapper(servletresponse, baos);
chain.dofilter(servletrequest, wrappedresponse);

  byte[] bytes = baos.tobytearray();

  string token = '"' + etagcomputeutils.getmd5digest(bytes) + '"';
servletresponse.setheader("etag", token); // always store the etag in the header

  string previoustoken = servletrequest.getheader("if-none-match");
if (previoustoken != null && previoustoken.equals(token)) { // compare previous token with current one
logger.debug("etag match: returning 304 not modified");
servletresponse.senderror(httpservletresponse.sc_not_modified);
// use the same date we sent when we created the etag the first time through
servletresponse.setheader("last-modified", servletrequest.getheader("if-modified-since"));
} else  { // first time through - set last modified time to now
calendar cal = calendar.getinstance();
cal.set(calendar.millisecond, 0);
date lastmodified = cal.gettime();
servletresponse.setdateheader("last-modified", lastmodified.gettime());

  logger.debug("writing body content");
servletresponse.setcontentlength(bytes.length);
servletoutputstream sos = servletresponse.getoutputstream();
sos.write(bytes);
sos.flush();
sos.close();
}
}

1