欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Redis3.x集群部署

程序员文章站 2022-05-21 17:13:00
...

1.实现目标
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
目标清单:

1)192.168.31.220、192.168.31.221和192.168.31.222为三台redis服务器的地址。初始状态下,所有服务器上6379端口的redis节点都为master,而6380端口的节点都为本机master的slave;

2)当某个master节点处于不可用时,则要求集群监控到后将某个slave(不一定是当前master主机上的slave)切换为新的master;

3)如果半数(及以上)节点挂掉,则整个集群进入fail状态。

2.实现过程

2.1安装Redis3.x

     此步骤省略,可参考http://code727.iteye.com/blog/2251399

2.2安装cluster依赖工具

     在任意一台主机上(如220)进行如下操作:

yum install ruby
yum install rubygems
gem install redis
2.3cluster配置
# 为Master和Slave节点拷贝两个配置文件到/etc/redis目录
cp /usr/local/redis/redis.conf /etc/redis/redis-6379.conf
cp /usr/local/redis/redis.conf /etc/redis/redis-6380.conf
 2.3.1修改master节点配置
vi /ect/redis/redis-6379.conf
    主要配置项如下:
# master节点服务端口
port 6379
# 开启集群
cluster-enabled yes
# master节点的配置文件
cluster-config-file nodes-6379.conf
# 集群节点互联超时时间(10秒)
cluster-node-timeout 10000
2.3.2修改slave节点配置
vi /ect/redis/redis-6380.conf
# slave节点服务端口
port 6380
# 开启集群
cluster-enabled yes
# slave节点的配置文件,名称与master的不一样
cluster-config-file nodes-6380.conf
# 集群节点互联超时时间(10秒)
cluster-node-timeout 10000
   完成后,将redis-6379.conf和redis-6380.conf两个配置拷贝到所有主机的/etc/redis/目录下

2.3.2启动redis服务

   在所有主机上进行如下操作:

# 进入redis-server目录
cd /usr/local/redis/src
# 启动master节点服务
./redis-server /etc/redis/redis-6379.conf
# 启动slave节点服务
./redis-server /etc/redis/redis-6380.conf
2.3.3创建集群环境

    在2.2节中安装了cluster依赖工具的主机上进行如下操作:

cd /usr/local/redis/src
./redis-trib.rb create --replicas 1 192.168.31.220:6379 192.168.31.221:6379 192.168.31.222:6379 192.168.31.220:6380 192.168.31.221:6380 192.168.31.222:6380
    创建集群环境的命令格式为./redis-trib.rb create --replicas <slaveCount> masterNode1,masterNode2,masterNodeN,slaveNode1,slaveNode2,slaveNodeN
    Node的格式为"IP:port",slaveCount表示每个masterNode对应的slaveNode个数,在集群环境中可以没有slave(在命令中省略掉slaveNode部分即可)。但如果有slave,则命令中,前n中个节点都为master,后n个节点都为slave,第n个master节点对应的slave应该是第n个。在上面的创建命令中,各节点的顺序正好满足目标清单中的第1)条需求。
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
    从上图可看出,六个节点都处于"OK"状态,并且前三个6379端口的都为master,而都三个6380端口的都为slave。此时出现提示,键入yes后,各节点将会进行互联操作
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
     从上图可看出16384个哈希槽已均匀分配给了三个master节点,分别为:
     192.168.31.220:6379(10923-16384)
     192.168.31.221:6379(5461-10922)
     192.168.31.222:6379(0-5460)
2.4定义服务
    在所有的主机上进行如下操作:
2.4.1定义redis-6379服务
vi /etc/init.d/redis-6379 
    输入如下内容:
PATH=/usr/local/bin:/sbin:/usr/bin:/bin
 
REDISPORT=6379
EXEC=/usr/local/redis/src/redis-server
REDIS_CLI=/usr/local/redis/src/redis-cli 

CONF="/etc/redis/redis-6379.conf" 
 
case "$1" in
        start)
                echo "Starting Redis-6379 server..."
                $EXEC $CONF
		sleep 1
	        echo "Redis-6379 is running..."  
                ;;
        stop)
                echo "Stopping..."
                $REDIS_CLI -p $REDISPORT SHUTDOWN      
                sleep 1
                echo "Redis-6379 stopped"              
                ;;
        restart|force-reload)
                ${0} stop
                ${0} start
                ;;
        *)
                echo "Usage: /etc/init.d/redis-6379 {start|stop|restart|force-reload}" >&2
                exit 1
esac
chmod -R 755 /etc/rc.d/init.d/redis-6379
2.4.1定义redis-6380服务
vi /etc/init.d/redis-6380
 输入如下内容:
PATH=/usr/local/bin:/sbin:/usr/bin:/bin
 
REDISPORT=6380
EXEC=/usr/local/redis/src/redis-server
REDIS_CLI=/usr/local/redis/src/redis-cli 

CONF="/etc/redis/redis-6380.conf" 
 
case "$1" in
        start)
                echo "Starting Redis-6380 server..."
                $EXEC $CONF
		sleep 1
		echo "Redis-6380 is running..."  
                ;;
        stop)
                echo "Stopping..."
                $REDIS_CLI -p $REDISPORT SHUTDOWN      
                sleep 1
                echo "Redis-6380 stopped"              
                ;;
        restart|force-reload)
                ${0} stop
                ${0} start
                ;;
        *)
                echo "Usage: /etc/init.d/redis-6380 {start|stop|restart|force-reload}" >&2
                exit 1
esac
chmod -R 755 /etc/rc.d/init.d/redis-6380
2.5设置开机启动
    在所有的主机上进行如下操作:
vi /etc/rc.d/rc.local
    加入如下内容:
service redis-6379 start
service redis-6380 start
3.测试
3.1redis-cli连接
# 常规的连接命令  
./redis-cli -h 192.168.31.220 -p 6379  
# redis set命令  
set name daniele  
    执行set命令后,将会返回MOVED错误,如下图:
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
    这是因为键(name)应该映射到0-5460范围内,因此不能在220(10923-16384范围)上进行操作,将-h的后ip修改为222重新连接后再进行set操作将会成功处理。
3.2改良后的redis-cli连接
    在redis-cli后加一个-c参数可以避免MOVED错误的发生,如下:
# 具备重定向功能的连接
./redis-cli -c -h 192.168.31.220 -p 6379  
# redis set命令  
set name daniele  
    执行set命令后,将会自动重定向,并返回正确的结果:
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
3.3宕机测试
1)kill掉222的master节点,再进行3.2节的操作,此时将不会再重定向到已不可用的222的master节点上
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
    此时重定向到了221的master节点上。这是因为同样的一个键,此时的slot值为5789而不是先前的4808,因此它将存储到221的master节点范围5461-10922内,可以通过如下命令查看到各节点状态
# 查看220上node-6379.conf文件内容
./redis-cli -h 192.168.31.220 -p 6379 cluster nodes
# 查看220上node-6380.conf文件内容
./redis-cli -h 192.168.31.220 -p 6380 cluster nodes
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
    上图展示的结果正好是220上node-6379.conf文件内容
    有时在执行操作时会遇到“(error) CLUSTERDOWN The cluster is down”错误,见下图:
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
     在这种情况下,221是可连接的(否则上图中最后一行的转向地址信息不可能会出现),需要对221:6379节点进行修复:
# 格式为./redis-trib.rb fix 被损节点ip:port
./redis-trib.rb fix 192.168.31.221:6379
2)kill掉半数(当前架构为3个)节点,再进行3.2节的操作,将同样会出现“(error) CLUSTERDOWN The cluster is down”错误:
Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
见上图,最后一行的地址信息表明没有发生转向,说明整个集群环境down掉了。
3)重启被kill掉的节点,再进行3.2节的操作,此时又恢复了正常。
4.Jedis对Redis Cluster的支持
    ShardedJedis是Jedis2.2+提供的基于一致性哈希算法实现的分布式Redis集群客户端,详情可参考http://www.cnblogs.com/liuling/p/2014-4-21-01.htmlhttp://blog.csdn.net/xiaolang85/article/details/12655519
5.总结
       在整个集群环境中,如果有半数的节点处于不可用状态时,会使整个集群系统都变为不可用,这是一个相当严重的问题。在上面章节的实施过程,都是人工值守的。对于可靠性高的系统来说,必须要加入自动检测恢复机制来实现,可以为每个节点加入keepalived来满足要求,当检测到某个redis节点不可用时,让它自动调用redis的重启脚本。    
     Redis Cluster目前不支持跨库操作,即在任意一个节点进行select操作是不允许的。个人认为,对于那种需要将数据按库进行分类的系统来说,还是采用Sentinel架构比较好,可参考http://code727.iteye.com/blog/2251399
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 18.3 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 20.7 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 22.8 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 2.3 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 3 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 4.6 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 3 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 15.3 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 3.8 KB
  • Redis3.x集群部署
            
    
    博客分类: 运维架构 Redis3.xCluster集群部署灾备切换
  • 大小: 2.8 KB