记一次性能优化过程

最近接手一个推荐系统API，原有系统已经开发完成，但是性能无法满足预期的要求，于是着手优化，原有系统的压力测试数据如下： 请求全部到redis  QPS 在2000左右，请求全部到Hbase  QPS在500左右

接手项目后首先自己先去测试服务器用ab 压测一下 性能如下：

每秒处理的请求数只有 1200左右，非常不理想，首先想到的是项目使用的日志框架，因为在之前的项目中有因为同步日志影响到性能，将logback的日志改成异步，没有修改一行代码，再次压测，数据如下：

可以看到异步日志对性能提升是非常明显的，

继续往下，查看了一下系统JVM参数配置 如下：-Xmx4G -Xms4G -Xmn512m,  先加上gclog将每次的GC打印出来发现老年代有非常大的空间浪费，老年代使用内存一直处于 200m 这样系统实际使用内存是 新生代512m+老年代200m= 700m 左右 堆内存使用率不到20% 并且操作系统内存空用内存接近为0，这样能够分配给线程栈的内存以及netty使用的堆外内存都很少了，所以优化了内存分配 优化后的参数如下：-Xmx2500m -Xms2500m -Xmn1300m -Xss256k -XX:SurvivorRatio=7 -XX:+UseConcMarkSweepGC 

-XX:+UseCMSInitiatingOccupancyOnly -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=2 

-XX:CMSInitiatingOccupancyFraction=70 -XX:+UseParNewGC -XX:+PrintGCDateStamps -XX:+PrintGCDetails

-Xloggc:$PROGRAM_HOME/gc.out

通过以上简单的配置优化  性能提升了3倍左右

接下来开始进入到代码优化层面，首先发现有一处使用redis的api不合理的地方，业务场景如下：通过大数据处理给每个用户推荐了100条数据 数据存在hbase中，接口请求的时候先查看redis 是否存在，没有则去hbase查数据然后放入redis中，redis使用List结构存这100条数据，之前的代码里面是for循环里面每次push 一条数据，这个操作就很坑了，100次的网络请求就算redis再快也要几十毫秒了，优化方法就是使用pusuAll这个接口批量操作减少网络开销

接着看业务流程，需求是希望给用户推荐的100条数据接口每次请求10条，在客户端循环播放，但是没有分页参数，所以系统的做法就是从redis里面每次pop10条数据返回，由于redis的接口每次只能pop一条数据，所以这儿每次需要在客户端调用10次redis接口，针对这种情况使用redis对LUA的支持 用lua脚本将10次客户端请求改成一次请求，代码如下

local result = {} 
for i=1, ARGV[1], 1 do
local t = redis.call('RPOPLPUSH',KEYS[1],KEYS[2])
table.insert(result, t)
end 
return result

优化时候再压测，数据如下