PHP扩展Memcache分布式部署方案
基础环境
其实基于php扩展的memcache客户端实际上早已经实现,而且非常稳定。先解释一些名词,memcache是danga.com的一个开源项目,可以类比于mysql这样的服务,而php扩展的memcache实际上是连接memcache的方式。
首先,进行memcache被安装具体可查看博客里的其它几篇文章;
其次,进行php扩展的安装,官方地址是
最后,启动memcache服务,比如这样,通过不同端口启动多个进程模拟分布式:
/usr/local/bin/memcached -d -p 11213 -u root -m 10 -c 1024 -t 8 -p /tmp/memcached.pid
/usr/local/bin/memcached -d -p 11214 -u root -m 10 -c 1024 -t 8 -p /tmp/memcached.pid
启动三个只使用10m内存以方便测试。
参数说明:
-d选项是启动一个守护进程,
-m 是分配给memcache使用的内存数量,单位是mb,我这里是512mb,
-u是运行memcache的用户,我这里是root,
-l 是监听的服务器ip地址,如果有多个地址的话,我这里指定了服务器的ip地址192.168.0.1,
-p是设置memcache监听的端口,我 这里设置了11211,最好是1024以上的端口,
-c选项是最大运行的并发连接数,默认是1024,我这里设置了512,按照你服务器的负载量 来设定,
-p是设置保存memcache的pid文件,我这里是保存
分布式部署
php的pecl扩展中的memcache实际上在2.0.0的版本中就已经实现多服务器支持,现在都已经2.2.5了。请看如下代码
$memcache = new memcache; $memcache->addserver('localhost', 11211); $memcache->addserver('localhost', 11213); $memcache->addserver('localhost', 11214); $memstats = $memcache->getextendedstats(); print_r($memstats);
通过上例就已经实现memcache的分布式部署,是不是非常简单。
分布式系统的良性运行
在memcache的实际使用中,遇到的最严重的问题,就是在增减服务器的时候,会导致大范围的缓存丢失,从而可能会引导数据库的性能瓶颈。测试时可以通过关闭一个memcached进程,来测试数据是否存在,实例:
<?php //第一次设置值后再作注释 $memcache = new memcache; $memcache->addserver('localhost', 11211); //$memcache->set("mykey", "这个值在11213添加前添加的"); $memcache->addserver('localhost', 11213); if (!$memcache) echo "connection to memcached failed"; /* $memcache->set("str_key", "string to store in memcached"); $memcache->set("num_key", 123); $object = new stdclass; $object->attribute = 'test'; $memcache->set("obj_key", $object); $array = array('assoc'=>123, 345, 567); $memcache->set("arr_key", $array); */ var_dump($memcache->get('mykey')); var_dump($memcache->get('str_key')); var_dump($memcache->get('num_key')); var_dump($memcache->get('obj_key')); $memstats = $memcache->getextendedstats(); var_dump($memstats); ?>
测试时关闭其中一台,可能会导致数据丢失:
string '这个值在11213添加前添加的' (length=35) string 'string to store in memcached' (length=28) boolean false boolean false
为了避免出现这种情况,请先看consistent hashing算法,中文的介绍可以参考memcached全面剖析--4. memcached的分布式算法,通过存取时选定服务器算法的改变,来实现。
memcached虽然称为“分布式”缓存服务器,但服务器端并没有“分布式”功能。
修改php的memcache扩展memcache.c的源代码中的
"memcache.hash_strategy" = standard
为
"memcache.hash_strategy" = consistent
重新编译,这时候就是使用consistent hashing算法来寻找服务器存取数据了。
有效测试数据表明,使用consistent hashing可以极大的改善增删memcache时缓存大范围丢失的情况。
nonconsistenthash: 92% of lookups changed after adding a target to the existing 10 nonconsistenthash: 90% of lookups changed after removing 1 of 10 targets consistenthash: 6% of lookups changed after adding a target to the existing 10 consistenthash: 9% of lookups changed after removing 1 of 10 targets
安全配置
memcache服务器端都是直接通过客户端连接后直接操作,没有任何的验证过程,这样如果服务器是直接暴露在互联网上的话是比较危险,轻则数据泄露被其他无关人员查看,重则服务器被入侵,因为mecache是以root权限运行的,况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况,这些都是我们未知的,所以危险性是可以预见的。
内网访问
最好把两台服务器之间的访问是内网形态的,一般是web服务器跟memcache服务器之间。普遍的服务器都是有两块网卡,一块指向互联网,一块指向内网,那么就让web服务器通过内网的网卡来访问memcache服务器,我们memcache的服务器上启动的时候就监听内网的ip地址和端口,内网间的访问能够有效阻止其他非法的访问。
memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口,占用1024mb内存,并且允许最大1024个并发连接
设置防火墙
防火墙是简单有效的方式,如果却是两台服务器都是挂在网的,并且需要通过外网ip来访问memcache的话,那么可以考虑使用防火墙或者代理程序来过滤非法访问。 一般我们在linux下可以使用iptables或者freebsd下的ipfw来指定一些规则防止一些非法的访问,比如我们可以设置只允许我们的web服务器来访问我们memcache服务器,同时阻止其他的访问。
# iptables -f # iptables -p input drop # iptables -a input -p tcp -s 192.168.0.2 --dport 11211 -j accept # iptables -a input -p udp -s 192.168.0.2 --dport 11211 -j accept
上面的iptables规则就是只允许192.168.0.2这台web服务器对memcache服务器的访问,能够有效的阻止一些非法访问,相应的也可以增加一些其他的规则来加强安全性,这个可以根据自己的需要来做。
上一篇: 洛谷P4170 [CQOI2007]涂色(区间dp)
下一篇: [ gczdac ] HDU1000