Tomcat的性能优化及JVM内存工作原理

jvm性能优化原则：代码运算性能、内存回收、应用配置（影响java程序主要原因是垃圾回收机制）
代码层优化：避免过多循环嵌套、调用和复杂逻辑。

tomcat调优主要内容

1、增加最大连接数

2、调整工作模式

3、启用gzip压缩

4、调整jvm内存大小

5、作为web服务器时、无apache整合或者nginx

6、合理选择垃圾回收算法

7、尽量使用较新的jdk版本

生产配置实例

<connectorport="8080"protocol="org.apache.coyote.http11.http11nioprotocol"     #调整工作模式为nio
           maxthreads="1000"              #最大线程数，默认150。这里这是1000是为了避免队列请求过多，导致响应过慢
           minsparethreads="100"          #最小空闲线程数
           maxsparethreads="200"          #最大空闲线程数，如果是超过这个数值，会自动关闭无用的线程
           acceptcount="900"              #当请求超过该值，便会将请求放到后面的队列中等待
           disableuploadtimeout="true"    #禁止上传超时时间
          connectiontimeout="20000"       #连接超时，单位毫秒，0代表不限制
           uriencoding="utf-8"            #url地址编码使用utf-8
           enablelookups="false"          #关闭dns解析，提高相应时间
           redirectport="8443"            #重定向端口
           compression="on"               #启用压缩功能
          compressionminsize="1024"       #最小压缩大小，单位为byte（字节）
          compressablemimetype="text/html,text/xml,text/css,text/javascript"/>   #可支持压缩的文件类型

tomcat的运行模式

tomcat有三种工作模式：bio、nio和apr

bio（blocking i/o）：默认工作模式，一个线程处理一个请求，在高并发的的环境下，线程数较多，浪费资源，没有任何优化技术处理，性能比较低

nio（new i/o or non-blocking）:非阻塞式i/o模式，nio主要是利用java的异步i/o处理，可以通过少量的线程处理大量的请求

apr（apache portable runtime，apathe可移植运行库）：tomcat运行高并发应用的首选工作模式，apr是从操作系统层面解决io阻塞问题，大幅度提高服务器的处理和响应性能

启动apr模式的方法

1）安装依赖库 

[root@tomcat ~]# yum install -y apr-devel openssl-devel gcc make

[root@tomcat ~]# rpm -qa | grep openssl
openssl-libs-1.0.2k-12.el7.x86_64
openssl-devel-1.0.2k-12.el7.x86_64
openssl-1.0.2k-12.el7.x86_64

2）安装apr动态库

在安装apr动态库之前，需要java环境，在这里，有个坑需要注意，那就是ap在预编译的之后一定要有jdk环境，我们一般安装都是直接yum install -y java一条命令搞定，但是呢，在这里是不支持的，

需要手动配置才行，否则便会报错

配置环境变量

export java_home=/usr/java/jdk1.7.0_65
export classpath=$classpath:$java_home/lib:$java_home/jre/lib
export path=$java_home/bin:$java_home/jre/bin:$path:$homr/bin

下载tomcat-native包

地址：

[root@tomcat ~]# wget https://mirrors.tuna.tsinghua.edu.cn/apache/tomcat/tomcat-connectors/native/1.2.17/source/tomcat-native-1.2.17-src.tar.gz    #下载包

[root@tomcat ~]# tar zxvf tomcat-native-1.2.17-src.tar.gz -c /usr/local/tomcat/bin/      #解压

[root@tomcat ~]# cd /usr/local/tomcat/bin/tomcat-native-1.2.17-src/native/     #移动到指定目录
 
[root@tomcat native]# make && make install    #编译安装
[root@tomcat native]# ll /usr/local/apr/lib/    #查看是否成功
total 3268
-rw-r--r-- 1 root root 2121194 jun 30 16:28 libtcnative-1.a
-rwxr-xr-x 1 root root 1027 jun 30 16:28 libtcnative-1.la
lrwxrwxrwx 1 root root 23 jun 30 16:28 libtcnative-1.so -> libtcnative-1.so.0.2.17
lrwxrwxrwx 1 root root 23 jun 30 16:28 libtcnative-1.so.0 -> libtcnative-1.so.0.2.17
-rwxr-xr-x 1 root root 1204408 jun 30 16:28 libtcnative-1.so.0.2.17
drwxr-xr-x 2 root root 4096 jun 30 16:28 pkgconfig

配置apr本地库到系统共享库搜索路径  # vim /usr/local/tomcat/bin/catalina.sh

java_opts="$java_opts -djava.library.path=/usr/local/apr/lib/"   #在虚拟机启动参数java_opts中添加java.library.path参数，指定apr库的路径

实现原理：tomcat利用基于apr库tomcat-native来实现操作系统级别控制，提供一种优化技术和非阻塞式i/o操作，大大提高并发处理能力。但需要安装apr和tomcat-native库。

工作模式原理涉及了网络i/o模型知识

阻塞式i/o模型：应用进程调用recv函数系统调用时，如果等待要操作的数据没有发送到内核缓存区，应用进程将阻塞，不能接收其它请求。反之内核recv端缓冲区有数据，内核会把数据复制到用户空间解除阻塞，继续处理下一个请求。（内核空间（缓冲区)--用户空间(系统调用)）

非阻塞式i/o模型：应用进程设置成非阻塞模式，如果要操作的数据没有发到内核缓冲区，recv系统调用返回一个错误，应用进程利用轮询方式不断检查此操作是否就绪，如果缓冲区有数据则返回，i/o操作同时不会阻塞应用进程，期间会继续处理新请求。

i/o复用模型：阻塞发生在select/poll的系统调用上，而不是阻塞在实际的i/o系统调用上。能同时处理多个操作，并检查操作是否就绪，select/epoll函数发现有数据就绪后，就通过实际i/o操作将数据复制到应用进程缓存区中。

异步i/o模型：应用进程通知内核开始第一个异步i/o操作，并让内核在整个操作（包括数据复制缓冲区）完成后通知应用进程，期间会继续处理新请求。

i/o操作分为两个阶段：第一个阶段等待数据可用，第二个阶段将数据从内核复制到用户空间。

前三种模型的区别：第一阶段阻塞式i/o阻塞在i/o操作上，非阻塞式i/o轮询，i/o复用阻塞在select/poll或epoll上。第二个阶段都是一样的。而异步i/o的两个阶段都不会阻塞进程。

java性能问题主要来自jvm，jvm  gc也比较复杂，相关基础概念

1、jvm内存划分为年轻代、老年代、永久代。

2、年轻代又分为： eden和survivor区由fromspace和tospace组成。eden区占大容量，survivor两个区占小容量，默认比例大概是8:2。

3、堆内存（heap）=年轻代+老年代。非堆内存=永久代。

4、堆内存用途： 存放的对象，垃圾收集器就是收集这些对象，然后根据gc算法回收。

5、非堆内存用途：jvm本身是用，存放一些类、方法、常量、属性等。

6、年轻代： 新生成的对象首先放到年轻代的eden区中，当eden满时，经过gc后，还存活的对象被复制到survivor区的fromspace中，如果survivor区满时，会再被复制到survivor区的tospace区。如果还有存活对象，会再被复制到老年代。

7、老年代：在年轻代中经过gc后还存活的对象会被复制到老年代中。当老年代空间不足时，jvm会对老年代进行完全的垃圾回收（full gc）。如果gc后，还是无法存放从survivor区复制过来的对象，就会出现oom（out of memory）。

8、永久代：也成为方法，存放静态类型数据，比如类、方法、属性等

垃圾回收（gc，garbage collection）算法

1、标记-清除（mark-sweep）

gc分为两个阶段，标记和清除。首先标记所有可回收的对象，在标记完成后统一回收所有被标记的对象。同时会产生不连续的内存碎片。碎片过多会导致以后程序运行时需要分配较大对象时，无法找到足够的连续内存，而不得以再次触发gc。

2、复制（copy）

将内存按容量划分为两块，每次只使用其中一块。当着一块用完了，就将存活的对象复制到另一块上，然后再把已使用的内存空间一次清理掉，这样使得每次对半个内存区在回收，也不用考虑内存碎片问题，简单高效。缺点需要两倍的内存空间。

3、标记-整理（mark-compact）

也分为两个阶段，首先标记可回收的对象，再将存活的对象都向一端移动，然后清理掉边界以外的内存。此方法避免标记-清除算法的碎片问题，同时也避免了复制算法的空间问题。

一般年轻代中执行gc后，会有少量的对象存活，就会选用复制算法，只要付出少量的存货成本就可以完成收集。而老年代中因对象存活率高，没有额外过多内存空间分配，就需要使用标记-清理或标记-整理算法来进行回收。

垃圾收集器

1、串行收集器（serial）

比较老的收集器，单线程。收集时，必须暂停应用的工作线程，直到收集结束。

2、并行收集器（parallel）

多线程并行工作，在多核cpu下效率更高，应用线程依然处于等待状态。

3、cms收集器（concurrent mark sweep）

1. 初始标记（initial mark）

2. 并发标记（concurrent mark）

3. 重新标记（remark）

4. 并发清除（concurrent sweep）

初始标记、重新标记这两个步骤仍然需要暂停应用线程。初始标记只是标记一下gc roots能直接关联的对象，速度很快，并发标记阶段是标记可回收对象，而重新标记阶段则是为了修正并发标记期间因用户程序继续运行导致
标记产生变动的那一部分对象的标记记录，这个阶段暂停时间比初始标记阶段稍长一点，但远比并发标记时间段。

由于整个过程中消耗最长的并发标记和并发清除过程收集器线程都可以与用户线程一起工作，所以，cms收集器内存回收与用户一起并发执行的，大大减少了暂停时间。

4、g1收集器（garbage first）
g1收集器将堆内存划分多个大小相等的独立区域（region），并且能预测暂停时间，能预测原因它能避免对整个堆进行全区收集。g1跟踪各个region里的垃圾堆积价值大小（所获得空间大小以及回收所需时间），在后台维护一个优先列表，每次根据允许的收集时间，优先回收价值最大的region，从而保证了再有限时间内获得更高的收集效率。

g1收集器工作工程分为4个步骤，包括：

初始标记（initial mark）

并发标记（concurrent mark）

最终标记（final mark）

筛选回收（live data counting and evacuation）

初始标记与cms一样，标记一下gc roots能直接关联到的对象。并发标记从gc root开始标记存活对象，这个阶段耗时比较长，但也可以与应用线程并发执行。而最终标记也是为了修正在并发标记期间因用户程序继续运作而导致标记产生变化的那一部分标记记录。最后在筛选回收阶段对各个region回收价值和成本进行排序，根据用户所期望的gc暂停时间来执行回收。

了解了jvm基础知识，下面配置下相关java参数，将下面一段放到catalina.sh里面：

java_opts="-server -xms1024m -xmx1536m -xx:permsize=256m -xx:maxpermsize=512m -xx:+useconcmarksweepgc -xx:+useparallelgcthreads=8 xx:cmsinitiatingoccupancyfraction=80 -xx:+usecmscompactatfullcollection -xx:cmsfullgcsbeforecompaction=0 -xx:-printgc -xx:-printgcdetails -xx:-printgctimestamps -xloggc:../logs/gc.log"

---

-xms

堆内存初始大小，单位m、g

-xmx

堆内存最大允许大小，一般不要大于物理内存的80%

-xx:permsize

非堆内存初始大小，一般应用设置初始化200m，最大1024m就够了

-xx:maxpermsize

非堆内存最大允许大小

-xx:+useparallelgcthreads=8

并行收集器线程数，同时有多少个线程进行垃圾回收，一般与cpu数量相等

-xx:+useparalleloldgc

指定老年代为并行收集

-xx:+useconcmarksweepgc

cms收集器（并发收集器）

-xx:+usecmscompactatfullcollection

开启内存空间压缩和整理，防止过多内存碎片

-xx:cmsfullgcsbeforecompaction=0

表示多少次full gc后开始压缩和整理，0表示每次full gc后立即执行压缩和整理

-xx:cmsinitiatingoccupancyfraction=80%

表示老年代内存空间使用80%时开始执行cms收集，防止过多的full gc

注意：不是jvm内存设置越大越好，具体还是根据项目对象实际占用内存大小而定，可以通过java自带的分析工具来查看。如果设置过大，会增加回收时间，从而增加暂停应用时间。

gzip压缩作用：节省服务器流量和提高网站访问速度。客户端请求服务器资源后，服务器将资源文件压缩，再返回给客户端，由客户端的浏览器负责解压缩并浏览。

使用apache与tomcat整合，因为tomcat处理静态文件能力远不足apache，因此让apache来处理静态文件，tomcat处理动态jsp文件，可以有效提高处理速度。

tomcatsessionid持久化三种方法：

session粘性：通过浏览器cookie绑定sessionid，通过sticky模式将同一session请求分配到同一tomcat上。

session复制：tomcat通过广播形式将session同步到其他tomcat节点，并且linux下要手动开启开放广播地址。不易后端节点过多

session保存数据库（memcache、redis）：将sessionid保存在共享的数据库中。

oom（out of memory）异常常见有以下几个原因：

1）老年代内存不足:
java.lang.outofmemoryerror:javaheapspace

2）永久代内存不足：

java.lang.outofmemoryerror:permgenspace

3）代码bug，占用内存无法及时回收。

前两种情况通过加大内存容量，可以得到解决。如果是代码bug，就要通过jstack、jmap、jstat自带的工具分析问题，定位到相关代码，让开发解决。