欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  科技

mongodb分片集群 搭建

程序员文章站 2022-04-15 21:01:40
创建mongodb分片集群 一、环境准备 1. 服务器节点信息【三台服务器】 x.x.x.159、 x.x.x..160、 x.x.x..161 2. 服务器系统 linux x86_64 GNU/Linux 或者 centos7 或者 redhat 3. mongodb版本 mongodb v4. ......

 创建mongodb分片集群

一、环境准备

   1. 服务器节点信息【三台服务器】
    x.x.x.159、 x.x.x..160、 x.x.x..161
   2. 服务器系统
    linux x86_64 gnu/linux 或者 centos7 或者 redhat
  3. mongodb版本
    mongodb v4.2.5
    下载地址:https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.5.tgz

 二、 集群环境设计

  1. 三个 分片 复制集合
    shard1(x.x.x.159:27017、 x.x.x.160:27017、 x.x.x.161:27017)
    shard2(x.x.x.159:27018、 x.x.x.160:27018、 x.x.x.161:27018)
    shard3(x.x.x.159:27019、 x.x.x.160:27019、 x.x.x.161:27019)
  2. 一个 config 复制集合
    (x.x.x.159:28018、 x.x.x.160:28018、 x.x.x.161:28018)
  3. 一个 mongos 节点
    (x.x.x.159:27000)

 三、mongodb 安装、

`tar -zxvf mongodb-linux-x86_64-rhel70-4.2.5.tgz`
 mv mongodb-linux-x86_64-rhel70-4.2.5 /opt/mongodb4.2

 

四、添加环境变量

  1. vim /etc/profile
  2. 文件末尾追加:           export path=$path:/opt/mongodb/bin
  3. 加载文件立刻生效:    source /etc/profile

五、搭建mongodb分片复制集

  1. 分别在三台服务器(x.x.x.159、x.x.x.160、 x.x.x.161)节点 执行如下命令

  2. mongodb分片集群 配置文件 目录

      mkdir -p /opt/mongodb4.2/conf

  3. 分片日志目录

    mkdir -p /opt/mongodb4.2/logs

  4. 创建集群安全认证机制keyfile

    openssl rand -base64 736 > /opt/mongodb4.2/conf/mongodb.keyfile

  notice: keyfile 必须满足以下条件:

1) 至少6个字符,小于1024字节。
2) 认证的时候不考虑文件中的空白字符。
3) 连接副本集成员的keyfile和启动mongos进程的 keyfile文件内容必须一致。
4) 必须是base64编码,但不能有等号。
5) 文件权限必须是 600(chmod 600),不能分配任何权限给group成员和其他成员。

 

  5. 创建分片 数据存储目录

    mkdir -p /opt/mongodb4.2/data/db1 【分片1】
    mkdir -p /opt/mongodb4.2/data/db2 【分片2】
    mkdir -p /opt/mongodb4.2/data/db3 【分片3】

  6. 创建分片配置文件

  vim /opt/mongodb4.2/conf/mongodb1.conf 【分片1 配置文件】
        storage:
            journal:
                enabled: true
            wiredtiger:
                engineconfig:
                    cacaesizegb: 2
                    directoryforindexes: true
        systemlog:
            destination: file
            logappend: true
            path: /opt/mongodb4.2/logs/mongodb1.log
        net:
            port: 27017
            bindip: 0.0.0.0
        processmanagement:
            fork: true
        replication:
            oplogsizemb: 4000
            replsetname: jxk1
        sharding:
            clusterrole: shardsvr
        security:
            authorization: enabled
            keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
            clusterauthmode: keyfile


    vim /opt/mongodb4.2/conf/mongodb2.conf 【分片2 配置文件】
        storage:
            journal:
                enabled: true
            wiredtiger:
                engineconfig:
                    cacaesizegb: 2
                    directoryforindexes: true
        systemlog:
            destination: file
            logappend: true
            path: /opt/mongodb4.2/logs/mongodb2.log
        net:
            port: 27018
            bindip: 0.0.0.0
        processmanagement:
            fork: true
        replication:
            oplogsizemb: 4000
            replsetname: jxk2
        sharding:
            clusterrole: shardsvr
        security:
            authorization: enabled
            keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
            clusterauthmode: keyfile


    vim /opt/mongodb4.2/conf/mongodb3.conf 【分片3 配置文件】
        storage:
            journal:
                enabled: true
            wiredtiger:
                engineconfig:
                    cacaesizegb: 2
                    directoryforindexes: true
        systemlog:
            destination: file
            logappend: true
            path: /opt/mongodb4.2/logs/mongodb3.log
        net:
            port: 27018
            bindip: 0.0.0.0
        processmanagement:
            fork: true
        replication:
            oplogsizemb: 4000
            replsetname: jxk3
        sharding:
            clusterrole: shardsvr
        security:
            authorization: enabled
            keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
            clusterauthmode: keyfile

    注意: 配置文件 yuml语法格式 直接拷贝下来 语法格式估计不能用

   

 六、启动 分片复制集

  1. 分别在三台服务器(x.x.x.159、x.x.x.160、 x.x.x.161)节点 执行如下命令
  2. mongod -f /opt/mongodb4.2/conf/mongodb1.conf
  3. mongod -f /opt/mongodb4.2/conf/mongodb2.conf
  4. mongod -f /opt/mongodb4.2/conf/mongodb3.conf

七、 初始化分片复制集 并 设置 分片复制集账号

  1. 在其中任意一台节点服务器登录 本人使用 x.x.x.159节点
  2. mongo -port 27017 【登录】
  3. 进入mongodb命令输入终端 输入命令如下

    var conf = {
        _id:'jxk',
        members:[
            {_id:1, host:'x.x.x.159:27017'},
            {_id:2, host:'x.x.x.160:27017'},
            {_id:3, host:'x.x.x.161:27017'},
        ],
    }
    rs.initiate(conf)
    rs.status()

  

  4. 找到mongodb自己选举出来的 主库 输入命令:

    use admin
    db.createuser({
        user: "username",
        pwd : "password",
        roles:[
            {role:"root", db:"admin"}
        ]
    })
    db.auth("username", "password")

八、搭建config节点复制集

  1. 分别在三台服务器(x.x.x.159、x.x.x.160、 x.x.x.161)节点 执行如下命令

  2. 创建 config 数据存储 目录

    mkdir -p /opt/mongodb4.2/mongo-cfg/data

  3. 创建 config 日志 目录

    mkdir -p /opt/mongodb4.2/mongo-cfg/logs

  4. 创建 config复制集 配置文件
 

    vim /opt/mongodb4.2/conf/mongodb-cfg.conf
        systemlog:
            destination: file
            logappend: true
            path: /opt/mongodb4.2/logs/mongodb3.log
        storage:
            journal:
                enabled: true
            dbpath: /opt/mongodb4.2/mongo-cfg/data
            directoryperdb: true
            wiredtiger:
                engineconfig:
                    cacaesizegb: 2
                    directoryforindexes: true
                collectionconfig:
                    blockcompressor: zstd
                indexconfig:
                    prefixcompression: true
        net:
            port: 28018
            bindip: x.x.x.159
        replication:
            oplogsizemb: 4000
            replsetname: configreplset
        sharding:
            clusterrole: configsvr
        processmanagement:
            fork: true 

  5. 启动config节点复制集

    mongod -f /opt/mongodb4.2/conf/mongodb-cfg.conf

  6. 登录config节点

    mongo -host x.x.x.(159/160/161) -port 28018

  7.初始化 config节点

        var conf = {
            _id:'configreplset',
            members:[
                {_id:0, host:"x.x.x.159:28018"},
                {_id:1, host:"x.x.x.160:28018"},
                {_id:2, host:"x.x.x.161:28018"},
            ]
        }
        rs.initiate(conf)
        rs.status()
    

  8. 创建认证用户

        use admin
        db.createuser({
            user: "username",
            pwd : "password",
            roles:[
                {role:"root", db:"admin"}
            ]
        })
        db.auth("username", "password")

  

  9. 开启config复制集 认证
    关闭 config复制集
    在配置文件追加
    vim /opt/mongodb4.2/conf/mongodb-cfg.conf

     security:
          authorization: enabled
          keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
          clusterauthmode: keyfile

 

    启动 config复制集

九、搭建mongos节点(x.x.18.159)

  1. 在 x.x.x.159 服务器上搭建客户端
  2. 创建mongos 日志目录

    mkdir -p /opt/mongodb4.2/mongos/logs

3. 创建mongos 配置文件
  vim /opt/mongodb4.2/conf/mongos.conf

        systemlog:
            destination: file
            logappend: true
            path: /opt/mongodb4.2/mongos/logs/mongodb.log
        net:
            port: 27000
            bindip: 0.0.0.0
        sharding:
            configdb: configreplset/x.x.x.159:28018,x.x.x.160:28018,x.x.x.160:28018,
        processmanagement:
            fork: true  
        security:
            keyfile: /opt/mongodb4.2/conf/mongodb.keyfile
            clusterauthmode: keyfile

  4. 启动mongos

    mongos -f /opt/mongodb4.2/conf/mongos.conf

  5. 登录并初始化 mongos

    mongo -port 27000
    use admin
    db.auth("username", "password")  #这里使用的账号是 config复制集的账号
    db.runcommand({
        addshard:"jxk1/x.x.x.159:27017,x.x.x.160:27017,x.x.x.161:27017,",
        name: "shard1"
    });
    db.runcommand({
        addshard:"jxk2/x.x.x.159:27018,x.x.x.160:27018,x.x.x.161:27018,",
        name: "shard1"
    });
    db.runcommand({
        addshard:"jxk3/x.x.x.159:27019,x.x.x.160:27019,x.x.x.161:27019,",
        name: "shard1"
    })

  

  6. 测试是否搭建成功

    db.runcommand( {enablesharding:"dbtest"})
    db.runcommand( {shardcollection:"dbtest.one", key:{id:1} })
    use dbtest
    var tmp = [];
    for(var i =0; i<10000000; i++){
        tmp.push({ 'id':i, "name":"lunck dog " + i});
    }
    db.one.insertmany(tmp);
    sh.status()

  

十、常用命令汇总

  1. 分片命令

  mongod -f /opt/mongodb4.2/conf/mongodb1.conf 启动
  mongod -f /opt/mongodb4.2/conf/mongodb1.conf --shutdown 关闭
  or
  mongo -port 27017
  use admin
  db.shutdownservers()

  

  2.config 复制集命令

    mongod -f /opt/mongodb4.2/conf/mongodb-cfg.conf 启动
    mongod -f /opt/mongodb4.2/conf/mongodb-cfg.conf --shutdown 关闭

  3. mongos 命令

    mongos -f /opt/mongodb4.2/conf/mongos.conf 启动
    mongo -port 27017 关闭
    use admin
    db.shutdownservers()

  

参考资料

  https://my.oschina.net/u/563789/blog/3050068
  https://blog.csdn.net/qq_24434491/article/details/102907486
  https://blog.csdn.net/lezeqe/article/details/90518179
  https://blog.csdn.net/tototuzuoquan/article/details/78295040
  https://www.freesion.com/article/6886370039/#8mongo_247
  https://www.cnblogs.com/shaosks/p/5775757.html
  https://www.cnblogs.com/wxmdevelop/p/7341292.html