redis cluster集群搭建
程序员文章站
2022-05-22 08:22:36
...
一、环境准备
采用的Vmware pro 12虚拟机，创建一个centos7最小化版本节点，在上面安装redis-4.0.6,再复制两个redis实例。然后通过vmware克隆一个新的节点。从而保证三主三从共6个redis实例。
二、操作步骤
1.在每台centos机器的/usr/local文件夹下创建redis-cluster文件夹作为redis集群根目录
cd /usr/local && mkdir redis-cluster2.在redis-cluster文件夹下安装3个redis实例，主要是将源码包里的redis.conf拷贝过来，修改几个参数，如下
port 7000 //自定义每个redis实例端口如7000~7006
protected-mode no //默认保护模式yes，修改为no
#bind 127.0.0.1 //默认安全保护，只能访问本机
daemonize yes //redis后台运行
cluster-enabled yes //开启集群 把注释#去掉
#下面项实验时未进行设置
pidfile ./redis_7000.pid //pidfile文件对应7000,7001,7002
cluster-config-file nodes_7000.conf //集群的配置 配置文件首次启动自动生成 7000,7001,7002
cluster-node-timeout 15000 //请求超时 默认15秒，可自行设置
appendonly yes //aof日志开启 有需要就开启，它会每次写操作都记录一条日志3.将源码包里的ruby脚本redis-trib.rb拷贝到redis-cluster文件夹下
cp redis-trib.rb /usr/local/redis-cluster/4.安装ruby环境
yum -y install ruby ruby-devel rubygems rpm-build
gem install redis5.启动每个redis实例
redis-server redis.conf
ps 检查进程： ps -ef|grep redis6.执行ruby脚本
redis-trib.rb create --replicas 1 192.168.1.80:7000 192.168.1.80:7001 192.168.1.80:7002 192.168.1.81:7003 192.168.1.81:7004 192.168.1.81:7005如果提示：All 16384 slots covered，表示集群启动成功
三、碰到的坑
1.centos7无法访问外网
我这里宿主机用的win10 + wifi上网
1）首先在宿主机cmd
ipconfig /all
查看本机网路情况，要记录下本机的ip和dns，后面centos7要用2）然后vmware 虚拟网络编辑器选择的Nat模式，注意子网IP要设置跟宿主机ip不是一个网段，如宿主机ip：192.168.10.155,那么这里VMnet8的ip可以设置192.168.1.0,子网：255.255.255.0;nat设置里设置网关与VMnet8的ip同网段，末尾只要与它ip不一致并且不是0就行，如192.168.1.2.
记住这个网关，因为后面centos设置网络配置文件时，里面的gateway就是写的这个。
对于端口转发，我设置了一个22端口，不知道有没有用~...
主机端口 22 类型 tcp 虚拟机IP地址 宿主机ip:22
这里宿主机ip就是cmd里记得 192.168.10.1553)在修改/etc/sysconfig/network-scripts/ifcfg-e***文件,如ifcfg-eno16777736或者ifcfg-etho33,主要修改一下几项：
BOOTPROTO=static #选项还有dhcp：自动分配ip，这里是指定静态ip，防止重启ip变化
IPADDR=192.168.1.80 #这里要设置的ip要跟vmnet8设置的网关一个网段
NETMASK=255.255.255.0 #指定子网掩码
ONBOOT=yes #centos启动就自动网络连接
#另外我碰到一个重启网络服务，dns重置的问题，将dns配置以/etc/resolv.conf为主，这里另外设置的
PEERDNS=no
NM_CONTROLLED="no"4)设置/etc/resolv.conf
nameserver 219.141.136.10 #这里就是cmd记录的宿主机网关
#google dns
nameserver 8.8.8.8
nameserver 4.4.4.4如果报错：failed to start lsb:bring up/down networking.
解决办法：将NetworkManager关掉
systemctl stop NetworkManager
systemctl disable NetworkManager
Removed symlink /etc/systemd/system/multi-user.target.wants/NetworkManager.service.
Removed symlink /etc/systemd/system/dbus-org.freedesktop.NetworkManager.service.
Removed symlink /etc/systemd/system/dbus-org.freedesktop.nm-dispatcher.service.
重新启动网络：
systemctl start network.service
ifconfig |grep eno如果克隆的centos找不到ip,则按照以下步骤解决：
1.由于在CentOS7-1中，我关闭了NetworkManager.service服务，并设置了开机不启动。再CentOS7-2中，先开启NetworkManager服务。
# systemctl start NetworkManager.service
2.使用ifconfig或者 ip addr查看网卡信息，发现一个名为ens33的网卡。记下MAC地址，例如00:0c:29:84:13:a1
3.进入目录/etc/sysconfig/netowrk-scripts中。将ifcfg-eno16777736改名为ifcfg-ens33。
# mv ifcfg-eno16777736 ifcfg-ens33
4.修改ifcfg-ens33
# vi ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
NAME="ens33"
HWADDR="00:0c:29:84:13:a1"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.1.81
NETMASK=255.255.255.0
GATEWAY=192.168.1.2
DNS1=219.141.136.10
5.删除文件
# rm -f /etc/udev/rules.d/90-eno-fix.rules
6.关闭NetworkManager服务,
# systemctl stop NetworkManager.service
7.重启网络服务
# systemctl restart network.serviceps 防火墙都是禁用状态
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止开机启动至此，centos机应该访问外网
2.gem install redis，发现redis需要的ruby版本要大于2.2.0
解决办法是 先安装rvm，再把ruby版本提升至2.3.3
1.安装curl
sudo yum install curl
2. 安装RVM
curl -L get.rvm.io | bash -s stable
3.
source /usr/local/rvm/scripts/rvm
4. 查看rvm库中已知的ruby版本
rvm list known
5. 安装一个ruby版本
rvm install 2.3.3
6. 使用一个ruby版本
rvm use 2.3.3
7. 设置默认版本
rvm remove 2.0.0
8. 卸载一个已知版本
ruby --version
9. 再安装redis就可以了
gem install redis四、集群命令
1.创建集群
redis-trib.rb create --replicas 1 192.168.1.80:7000 192.168.1.80:7001 192.168.1.80:7002 192.168.1.81:7003 192.168.1.81:7004 192.168.1.81:7005
其中：create //表示创建集群功能
--replicas 1 //表示为每个主节点自动分配一个从节点.也就是自动分配三个主节点和三个从节点.2.查看集群状态
登录客户端 redis-cli -p 7002(可以任意一个)
cluster info 3.查看集群节点信息
登录客户端 redis-cli -p 7002(可以任意一个)
cluster nodes4.检查集群状态
5.修复集群状态
6.增加redis节点
1) 创建两个实例目录,一个实例做为新节点的主实例,一个实例做为新节点的从实例
2)修改相应的redis.conf，修改端口等信息
3）启动这两个实例
4）增加节点
redis-trib.rb add-node 192.168.1.81:7007 192.168.1.80:7001
PS:这个IP:PORT可以是集群里边儿任意一个主节点的IP和端口redis-cli -c -p 7002 cluster nodes
36d53c7f1896838249c0b4afdcf680bac2f4ec2e 192.168.1.81:7007 master - 0 1463476564369 0 connected发现7007这个实例已经做为主节点加到集群里边儿来了.
5)7008做为7007的从节点也加入到集群里边儿来, 注意记住7007这个主节点的节点id.从节点加入到集群的时候要用到.
redis-trib.rb add-node --slave --master-id 36d53c7f1896838249c0b4afdcf680bac2f4ec2e 192.168.1.81:7008 192.168.1.80:70016)重新分片
redis-trib.rb reshard 192.168.1.80:7001
//PS: 这条命令是交互的,按照提示操作即可.
How many slots do you want to move (from 1 to 16384)?4096 //输入一个数,这个4096表示迁移多少个slots数
What is the receiving node ID? 36d53c7f1896838249c0b4afdcf680bac2f4ec2e //输入目标节点ID,表示迁移到哪个目标节点
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1:all //输入all表示从老的所有节点进行重分配,凑够4096个slots给到新节点.
也可以输入源节点id, 可以输入多个源节点id,最后输入done.就开始从你输入的源节点id的节点进行迁移了.7.删除redis节点(主节点 7001)
首先必须确保这个节点没有拥有任何一个slots
1）查看集群节点信息
redis-cli -c -p 7002 cluster nodes
a2eee0ea546f2c3701b08981737c07938039857c 192.168.1.80:7001 master - 0 1463477001334 1 connected 1365-54602)重新分片
redis-trib.rb reshard 192.168.1.80:7001
How many slots do you want to move (from 1 to 16384)?16384 //输入一个大于或等于7001节点所拥有的slots数的数即可.
What is the receiving node ID? 8ab3d14eba181c06dc8826bea0db1becdead2533 //接收这些slots的目标节点,这里是7002节点
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.
Source node #1:a2eee0ea546f2c3701b08981737c07938039857c //因为我们要删除7001这个节点,所以源节点的id就是7001的节点ID
Source node #2:done //输入done,回车,就会开始从7001 这个节点迁移16384个slot(没有这么多就迁移拥有的全部)到7002节点中去.再看各个节点的状态
redis-cli -c -p 7002 cluster nodes
a2eee0ea546f2c3701b08981737c07938039857c 192.168.1.80:7001 master - 0 1463477349186 1 connected7001 已经没有分配slots了,可以从集群中删除了.
redis-trib.rb del-node 192.168.1.80:7002 a2eee0ea546f2c3701b08981737c07938039857c
ps: 这个主节点被删除之后,它之前拥有的从节点会自动成为其他主节点的从节点 五、原理
Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。
六、cache集群方案对比
- Twemproxy – Twitter
- Codis – 豌豆荚
- Redis Cluster – 官方
twemproxy
架构图：
优点：
- 开发简单，对应用几乎透明
- 历史悠久，成熟
缺点： - 代理影响性能
- lvs和twemproxy会有节点性能瓶颈
- redis扩容非常麻烦
- twitter内部已放弃使用该方案，新使用的架构未开源
Codis：
架构图
ZooKeeper：
存放路由表和代理节点元数据
分发Codis-Config的命令
Codis-Config :
集成管理工具，有web界面
Codis-Proxy :
无状态代理，兼容Redis协议
对业务透明
Codis-Redis：
基于2.8版本，二次开发
加入slot支持和迁移命令优点：
- 开发简单，对应用几乎透明
- 性能比Twemproxy好
- 有图形化界面，扩容容易，运维方便
缺点：
- 代理依旧影响性能
- 组件过多，需要很多机器资源
- 修改了redis代码，导致和官方无法同步，新特性跟进缓慢
- 开发团队准备主推基于redis改造的reborndb
Redis Cluster：
架构图：
P2P模式，无中心化
把key分成16384个slot
每个实例负责一部分slot
客户端请求若不在连接的实例，该实例会转发给对应的实例。
通过Gossip协议同步节点信息优点：
- 组件all-in-box，部署简单，节约机器资源
- 性能比proxy模式好
- 自动故障转移、Slot迁移中数据可用
- 官方原生集群方案，更新与支持有保障
缺点：
- 架构比较新，最佳实践较少
- 多键操作支持有限（驱动可以曲线救国）
- 为了性能提升，客户端需要缓存路由表信息
- 节点发现、reshard操作不够自动化
七、总结
redis支持少量数据存储，可以全部以in-momery方式支持高速访问，同时支持数据落地的功能。
redis集群可以支持存储海量数据，支持分布式横向拓展，数据一致性保证。
下一篇： ACM_PKU_1001