使用Zookeeper分布式部署PHP应用程序
zookper是一种分布式的,开源的,应用于分布式应用的协作服务。它提供了一些简单的操作,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。zookper很容易编程接入,它使用了一个和文件树结构相似的数据模型。
虽然zookeeper是一个java应用程序,但c也可以使用。这里就有个php的扩展,你可以从pecl中下载,或从github中直接获取php-zookeeper。
要使用该扩展你首先要安装zookeeper。可以从官方网站下载。
$ tar zxfv zookeeper-3.4.5.tar.gz $ cd zookeeper-3.4.5/src/c $ ./configure --prefix=/usr/ $ make $ sudo make install
这样就会安装zookeeper的库和头文件。现在准备编译php扩展。
$ git clone https://github.com/andreiz/php-zookeeper.git $ cd php-zookeeper $ phpize $ ./configure $ make $ sudo make install
将“zookeeper.so”添加到php配置中。
$ vim /etc/php5/cli/conf.d/20-zookeeper.ini
因为我不需要运行在web服务环境下,所以这里我只编辑了cli的配置。将下面的行复制到ini文件中。
extension=zookeeper.so
使用如下命令来确定扩展是否已起作用。
$ php -m | grep zookeeper zookeeper
现在是时候运行zookeeper了。目前唯一还没有做的是配置。创建一个用于存放所有service数据的目录。
$ mkdir /home/you-account/zoo $ cd $ cd zookeeper-3.4.5/ $ cp conf/zoo_sample.cfg conf/zoo.cfg $ vim conf/zoo.cfg
找到名为“datadir”的属性,将其指向“/home/you-account/zoo”目录。
$ bin/zkserver.sh start $ bin/zkcli.sh -server 127.0.0.1:2181 [zk: 127.0.0.1:2181(connected) 14] create /test 1 created /test [zk: 127.0.0.1:2181(connected) 19] ls / [test, zookeeper]
此时,你已成功连到了zookeeper,并创建了一个名为“/test”的znode(稍后我们会用到)。zookeeper以树形结构保存数据。这很类似于文件系统,但“文件夹”(译者注:这里指非最底层的节点)又和文件很像。znode是zookeeper保存的实体。node(节点)的说法很容易被混淆,所以为了避免混淆这里使用了znode。
因为我们稍后还会使用,所以这里我们让客户端保持连接状态。开启一个新窗口,并创建一个zookeeperdemo1.php文件。
<?php class zookeeperdemo extends zookeeper { public function watcher( $i, $type, $key ) { echo "insider watcher\n"; // watcher gets consumed so we need to set a new one $this->get( '/test', array($this, 'watcher' ) ); } } $zoo = new zookeeperdemo('127.0.0.1:2181'); $zoo->get( '/test', array($zoo, 'watcher' ) ); while( true ) { echo '.'; sleep(2); }
现在运行该脚本。
$ php zookeeperdemo1.php
此处应该会每隔2秒产生一个点。现在切换到zookeeper客户端,并更新“/test”值。
[zk: 127.0.0.1:2181(connected) 20] set /test foo
这样就会静默触发php脚本中的“insider watcher”消息。怎么会这样的?
zookeeper提供了可以绑定在znode的监视器。如果监视器发现znode发生变化,该service会立即通知所有相关的客户端。这就是php脚本如何知道变化的。zookeeper::get方法的第二个参数是回调函数。当触发事件时,监视器会被消费掉,所以我们需要在回调函数中再次设置监视器。
现在你可以准备创建分布式应用程序了。其中的挑战是让这些独立的程序决定哪个(是leader)协调它们的工作,以及哪些(是worker)需要执行。这个处理过程叫做leader选举,在zookeeper recipes and solutions你能看到相关的实现方法。
这里简单来说就是,每个处理(或服务器)紧盯着相邻的那个处理(或服务器)。如果一个已被监视的处理(也即leader)退出或者崩溃了,监视程序就会查找其相邻(此时最老)的那个处理作为leader。
在真实的应用程序中,leader会给worker分配任务、监控进程和保存结果。这里为了简化,我跳过了这些部分。
创建一个新的php文件,命名为worker.php。
<?php class worker extends zookeeper { const container = '/cluster'; protected $acl = array( array( 'perms' => zookeeper::perm_all, 'scheme' => 'world', 'id' => 'anyone' ) ); private $isleader = false; private $znode; public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) { parent::__construct( $host, $watcher_cb, $recv_timeout ); } public function register() { if( ! $this->exists( self::container ) ) { $this->create( self::container, null, $this->acl ); } $this->znode = $this->create( self::container . '/w-', null, $this->acl, zookeeper::ephemeral | zookeeper::sequence ); $this->znode = str_replace( self::container .'/', '', $this->znode ); printf( "i'm registred as: %s\n", $this->znode ); $watching = $this->watchprevious(); if( $watching == $this->znode ) { printf( "nobody here, i'm the leader\n" ); $this->setleader( true ); } else { printf( "i'm watching %s\n", $watching ); } } public function watchprevious() { $workers = $this->getchildren( self::container ); sort( $workers ); $size = sizeof( $workers ); for( $i = 0 ; $i < $size ; $i++ ) { if( $this->znode == $workers[ $i ] ) { if( $i > 0 ) { $this->get( self::container . '/' . $workers[ $i - 1 ], array( $this, 'watchnode' ) ); return $workers[ $i - 1 ]; } return $workers[ $i ]; } } throw new exception( sprintf( "something went very wrong! i can't find myself: %s/%s", self::container, $this->znode ) ); } public function watchnode( $i, $type, $name ) { $watching = $this->watchprevious(); if( $watching == $this->znode ) { printf( "i'm the new leader!\n" ); $this->setleader( true ); } else { printf( "now i'm watching %s\n", $watching ); } } public function isleader() { return $this->isleader; } public function setleader($flag) { $this->isleader = $flag; } public function run() { $this->register(); while( true ) { if( $this->isleader() ) { $this->doleaderjob(); } else { $this->doworkerjob(); } sleep( 2 ); } } public function doleaderjob() { echo "leading\n"; } public function doworkerjob() { echo "working\n"; } } $worker = new worker( '127.0.0.1:2181' ); $worker->run();
打开至少3个终端,在每个终端中运行以下脚本:
# term1 $ php worker.php i'm registred as: w-0000000001 nobody here, i'm the leader leading # term2 $ php worker.php i'm registred as: w-0000000002 i'm watching w-0000000001 working # term3 $ php worker.php i'm registred as: w-0000000003 i'm watching w-0000000002 working
现在模拟leader崩溃的情形。使用ctrl+c或其他方法退出第一个脚本。刚开始不会有任何变化,worker可以继续工作。后来,zookeeper会发现超时,并选举出新的leader。
虽然这些脚本很容易理解,但是还是有必要对已使用的zookeeper标志作注释。
$this->znode = $this->create( self::container . '/w-', null, $this->acl, zookeeper::ephemeral | zookeeper::sequence );
每个znode都是ephemeral和sequence的。
ephemral代表当客户端失去连接时移除该znode。这就是为何php脚本会知道超时。sequence代表在每个znode名称后添加顺序标识。我们通过这些唯一标识来标记worker。
在php部分还有些问题要注意。该扩展目前还是beta版,如果使用不当很容易发生segmentation fault。比如,不能传入普通函数作为回调函数,传入的必须为方法。我希望更多php社区的同仁可以看到apache zookeeper的好,同时该扩展也会获得更多的支持。
zookeeper是一个强大的软件,拥有简洁和简单的api。由于文档和示例都做的很好,任何人都可以很容易的编写分布式软件。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
上一篇: Node.js JSON模块用法实例分析
推荐阅读
-
使用Zookeeper分布式部署PHP应用程序
-
[笔记]使用Docker部署.NET Core应用程序
-
使用docker-compose 一键部署你的分布式调用链跟踪框架skywalking
-
浅谈分布式锁的几种使用方式(redis、zookeeper、数据库)
-
使用Rancher在K8S上部署高性能PHP应用程序的教程
-
PHP扩展Memcache分布式部署方案
-
Zookeeper分布式安装部署
-
使用vagrant一键部署本地php开发环境(二)制作自己的vagrant box
-
zookeeper客户端Curator介绍及分布式锁的使用
-
centos6使用docker部署zookeeper操作示例