mongodb分片集群 搭建
创建mongodb分片集群
一、环境准备
1. 服务器节点信息【三台服务器】
x.x.x.159、 x.x.x..160、 x.x.x..161
2. 服务器系统
linux x86_64 gnu/linux 或者 centos7 或者 redhat
3. mongodb版本
mongodb v4.2.5
下载地址:https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.5.tgz
二、 集群环境设计
1. 三个 分片 复制集合
shard1(x.x.x.159:27017、 x.x.x.160:27017、 x.x.x.161:27017)
shard2(x.x.x.159:27018、 x.x.x.160:27018、 x.x.x.161:27018)
shard3(x.x.x.159:27019、 x.x.x.160:27019、 x.x.x.161:27019)
2. 一个 config 复制集合
(x.x.x.159:28018、 x.x.x.160:28018、 x.x.x.161:28018)
3. 一个 mongos 节点
(x.x.x.159:27000)
三、mongodb 安装、
`tar -zxvf mongodb-linux-x86_64-rhel70-4.2.5.tgz`
mv mongodb-linux-x86_64-rhel70-4.2.5 /opt/mongodb4.2
四、添加环境变量
1. vim /etc/profile
2. 文件末尾追加: export path=$path:/opt/mongodb/bin
3. 加载文件立刻生效: source /etc/profile
五、搭建mongodb分片复制集
1. 分别在三台服务器(x.x.x.159、x.x.x.160、 x.x.x.161)节点 执行如下命令
2. mongodb分片集群 配置文件 目录
mkdir -p /opt/mongodb4.2/conf
3. 分片日志目录
mkdir -p /opt/mongodb4.2/logs
4. 创建集群安全认证机制keyfile
openssl rand -base64 736 > /opt/mongodb4.2/conf/mongodb.keyfile
notice: keyfile 必须满足以下条件:
1) 至少6个字符,小于1024字节。
2) 认证的时候不考虑文件中的空白字符。
3) 连接副本集成员的keyfile和启动mongos进程的 keyfile文件内容必须一致。
4) 必须是base64编码,但不能有等号。
5) 文件权限必须是 600(chmod 600),不能分配任何权限给group成员和其他成员。
5. 创建分片 数据存储目录
mkdir -p /opt/mongodb4.2/data/db1 【分片1】
mkdir -p /opt/mongodb4.2/data/db2 【分片2】
mkdir -p /opt/mongodb4.2/data/db3 【分片3】
6. 创建分片配置文件
vim /opt/mongodb4.2/conf/mongodb1.conf 【分片1 配置文件】
storage:
journal:
enabled: true
wiredtiger:
engineconfig:
cacaesizegb: 2
directoryforindexes: true
systemlog:
destination: file
logappend: true
path: /opt/mongodb4.2/logs/mongodb1.log
net:
port: 27017
bindip: 0.0.0.0
processmanagement:
fork: true
replication:
oplogsizemb: 4000
replsetname: jxk1
sharding:
clusterrole: shardsvr
security:
authorization: enabled
keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
clusterauthmode: keyfile
vim /opt/mongodb4.2/conf/mongodb2.conf 【分片2 配置文件】
storage:
journal:
enabled: true
wiredtiger:
engineconfig:
cacaesizegb: 2
directoryforindexes: true
systemlog:
destination: file
logappend: true
path: /opt/mongodb4.2/logs/mongodb2.log
net:
port: 27018
bindip: 0.0.0.0
processmanagement:
fork: true
replication:
oplogsizemb: 4000
replsetname: jxk2
sharding:
clusterrole: shardsvr
security:
authorization: enabled
keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
clusterauthmode: keyfile
vim /opt/mongodb4.2/conf/mongodb3.conf 【分片3 配置文件】
storage:
journal:
enabled: true
wiredtiger:
engineconfig:
cacaesizegb: 2
directoryforindexes: true
systemlog:
destination: file
logappend: true
path: /opt/mongodb4.2/logs/mongodb3.log
net:
port: 27018
bindip: 0.0.0.0
processmanagement:
fork: true
replication:
oplogsizemb: 4000
replsetname: jxk3
sharding:
clusterrole: shardsvr
security:
authorization: enabled
keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
clusterauthmode: keyfile
注意: 配置文件 yuml语法格式 直接拷贝下来 语法格式估计不能用
六、启动 分片复制集
1. 分别在三台服务器(x.x.x.159、x.x.x.160、 x.x.x.161)节点 执行如下命令
2. mongod -f /opt/mongodb4.2/conf/mongodb1.conf
3. mongod -f /opt/mongodb4.2/conf/mongodb2.conf
4. mongod -f /opt/mongodb4.2/conf/mongodb3.conf
七、 初始化分片复制集 并 设置 分片复制集账号
1. 在其中任意一台节点服务器登录 本人使用 x.x.x.159节点
2. mongo -port 27017 【登录】
3. 进入mongodb命令输入终端 输入命令如下
var conf = {
_id:'jxk',
members:[
{_id:1, host:'x.x.x.159:27017'},
{_id:2, host:'x.x.x.160:27017'},
{_id:3, host:'x.x.x.161:27017'},
],
}
rs.initiate(conf)
rs.status()
4. 找到mongodb自己选举出来的 主库 输入命令:
use admin
db.createuser({
user: "username",
pwd : "password",
roles:[
{role:"root", db:"admin"}
]
})
db.auth("username", "password")
八、搭建config节点复制集
1. 分别在三台服务器(x.x.x.159、x.x.x.160、 x.x.x.161)节点 执行如下命令
2. 创建 config 数据存储 目录
mkdir -p /opt/mongodb4.2/mongo-cfg/data
3. 创建 config 日志 目录
mkdir -p /opt/mongodb4.2/mongo-cfg/logs
4. 创建 config复制集 配置文件
vim /opt/mongodb4.2/conf/mongodb-cfg.conf
systemlog:
destination: file
logappend: true
path: /opt/mongodb4.2/logs/mongodb3.log
storage:
journal:
enabled: true
dbpath: /opt/mongodb4.2/mongo-cfg/data
directoryperdb: true
wiredtiger:
engineconfig:
cacaesizegb: 2
directoryforindexes: true
collectionconfig:
blockcompressor: zstd
indexconfig:
prefixcompression: true
net:
port: 28018
bindip: x.x.x.159
replication:
oplogsizemb: 4000
replsetname: configreplset
sharding:
clusterrole: configsvr
processmanagement:
fork: true
5. 启动config节点复制集
mongod -f /opt/mongodb4.2/conf/mongodb-cfg.conf
6. 登录config节点
mongo -host x.x.x.(159/160/161) -port 28018
7.初始化 config节点
var conf = {
_id:'configreplset',
members:[
{_id:0, host:"x.x.x.159:28018"},
{_id:1, host:"x.x.x.160:28018"},
{_id:2, host:"x.x.x.161:28018"},
]
}
rs.initiate(conf)
rs.status()
8. 创建认证用户
use admin
db.createuser({
user: "username",
pwd : "password",
roles:[
{role:"root", db:"admin"}
]
})
db.auth("username", "password")
9. 开启config复制集 认证
关闭 config复制集
在配置文件追加
vim /opt/mongodb4.2/conf/mongodb-cfg.conf
security:
authorization: enabled
keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
clusterauthmode: keyfile
启动 config复制集
九、搭建mongos节点(x.x.18.159)
1. 在 x.x.x.159 服务器上搭建客户端
2. 创建mongos 日志目录
mkdir -p /opt/mongodb4.2/mongos/logs
3. 创建mongos 配置文件
vim /opt/mongodb4.2/conf/mongos.conf
systemlog:
destination: file
logappend: true
path: /opt/mongodb4.2/mongos/logs/mongodb.log
net:
port: 27000
bindip: 0.0.0.0
sharding:
configdb: configreplset/x.x.x.159:28018,x.x.x.160:28018,x.x.x.160:28018,
processmanagement:
fork: true
security:
keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
clusterauthmode: keyfile
4. 启动mongos
mongos -f /opt/mongodb4.2/conf/mongos.conf
5. 登录并初始化 mongos
mongo -port 27000
use admin
db.auth("username", "password") #这里使用的账号是 config复制集的账号
db.runcommand({
addshard:"jxk1/x.x.x.159:27017,x.x.x.160:27017,x.x.x.161:27017,",
name: "shard1"
});
db.runcommand({
addshard:"jxk2/x.x.x.159:27018,x.x.x.160:27018,x.x.x.161:27018,",
name: "shard1"
});
db.runcommand({
addshard:"jxk3/x.x.x.159:27019,x.x.x.160:27019,x.x.x.161:27019,",
name: "shard1"
})
6. 测试是否搭建成功
db.runcommand( {enablesharding:"dbtest"})
db.runcommand( {shardcollection:"dbtest.one", key:{id:1} })
use dbtest
var tmp = [];
for(var i =0; i<10000000; i++){
tmp.push({ 'id':i, "name":"lunck dog " + i});
}
db.one.insertmany(tmp);
sh.status()
十、常用命令汇总
1. 分片命令
mongod -f /opt/mongodb4.2/conf/mongodb1.conf 启动
mongod -f /opt/mongodb4.2/conf/mongodb1.conf --shutdown 关闭
or
mongo -port 27017
use admin
db.shutdownservers()
2.config 复制集命令
mongod -f /opt/mongodb4.2/conf/mongodb-cfg.conf 启动
mongod -f /opt/mongodb4.2/conf/mongodb-cfg.conf --shutdown 关闭
3. mongos 命令
mongos -f /opt/mongodb4.2/conf/mongos.conf 启动
mongo -port 27017 关闭
use admin
db.shutdownservers()
参考资料
https://my.oschina.net/u/563789/blog/3050068
https://blog.csdn.net/qq_24434491/article/details/102907486
https://blog.csdn.net/lezeqe/article/details/90518179
https://blog.csdn.net/tototuzuoquan/article/details/78295040
https://www.freesion.com/article/6886370039/#8mongo_247
https://www.cnblogs.com/shaosks/p/5775757.html
https://www.cnblogs.com/wxmdevelop/p/7341292.html
上一篇: 左匹配原则,聚集索引,回表查询,索引覆盖 你真的懂了吗
下一篇: pyhton实现世界疫情地图