mongodb 4（8月27日）

21.36 mongodb分片介绍
21.37/21.38/21.39 mongodb分片搭建
21.40 mongodb分片测试
21.41 mongodb备份恢复

21.36 MongoDB分片介绍

分片就是将数据库进行拆分，将大型集合分隔到不同服务器上。比如，本来100G的数据，可以分割成10份存储到10台服务器上，这样每台机器只有10G的数据。
通过一个mongos的进程（路由）实现分片后的数据存储与访问，也就是说mongos是整个分片架构的核心，对客户端而言是不知道是否有分片的，客户端只需要把读写操作转达给mongos即可。
虽然分片会把数据分隔到很多台服务器上，但是每一个节点都是需要有一个备用角色的，这样能保证数据的高可用。
当系统需要更多空间或者资源的时候，分片可以让我们按需方便扩展，只需要把mongodb服务的机器加入到分片集群中即可。

mongos: 数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。
config server: 配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！
shard: 存储了一个集合部分数据的MongoDB实例，每个分片是单独的mongodb服务或者副本集，在生产环境中，所有的分片都应该是副本集。

总结

分片就是把数据进行拆分，分片的下级就是副本集。分片中三个成员，mongos请求入口，把请求分发给shard上。config server存储配置数据。shard存储MongoDB实例的数据。为了安全三者都应该作副本集。

21.37/21.38/21.39 mongodb分片搭建

服务器规划

三台机器kun02(192.168.80.101) kun03(192.168.80.102) kun04(192.168.80.103)
kun02搭建：mongos、config server、副本集1主节点、副本集2仲裁、副本集3从节点
kun03搭建：mongos、config server、副本集1从节点、副本集2主节点、副本集3仲裁
kun04搭建：mongos、config server、副本集1仲裁、副本集2从节点、副本集3主节点
端口分配：mongos 20000、config 21000、副本集1 27001、副本集2 27002、副本集3 27003
三台机器全部关闭firewalld服务和selinux，或者增加对应端口的规则

三台机器上各自创建下面目录

1
2
3
4
5
[root@kun02 ~]# mkdir -p /data/mongodb/mongos/log
[root@kun02 ~]# mkdir -p /data/mongodb/config/{data,log}
[root@kun02 ~]# mkdir -p /data/mongodb/shard1/{data,log}
[root@kun02 ~]# mkdir -p /data/mongodb/shard2/{data,log}
[root@kun02 ~]# mkdir -p /data/mongodb/shard3/{data,log}

配置config server

三台机器上都做下面操作

1.创建monogd目录

1
[root@kun02 ~]# mkdir /etc/mongod/

2.创建config.conf配置文件

1
[root@kun02 ~]# vim /etc/mongod/config.conf

添加下面参数

1
2
3
4
5
6
7
8
9
10
pidfilepath = /var/run/mongodb/configsrv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 192.168.80.101 ##0.0.0.0可以监听全网ip,不完全
port = 21000
fork = true
configsvr = true #declare this is a config db of a cluster;
replSet=configs #副本集名称
maxConns=20000 #设置最大连接数

3.启动config server服务

1
2
3
4
[root@kun02 ~]# mongod -f /etc/mongod/config.conf

[root@kun02 ~]# netstat -lntp |grep mongo  ##查看是否监听21000
tcp        0      0 192.168.80.101:21000    0.0.0.0:*               LISTEN      1427/mongod

4.在任意一台机器上登录mongodb的21000端口

1
[root@kun02 ~]# mongo --host 192.168.80.101 --port 21000

5.建立config server的副本集

1
> config = { _id: "configs", members: [ {_id : 0, host : "192.168.80.101:21000"},{_id : 1, host : "192.168.80.102:21000"},{_id : 2, host : "192.168.80.103:21000"}] }

6.初始化数据

1
> rs.initiate(config)

配置三个节点shard

三台机器上都做下面操作

1.分别创建shard1.conf shard2.conf shard3.conf 配置文件

1
[root@kun02 ~]# vim /etc/mongod/shard1.conf

添加下面参数

1
2
3
4
5
6
7
8
9
10
pidfilepath = /var/run/mongodb/shard1.pid
dbpath = /data/mongodb/shard1/data
logpath = /data/mongodb/shard1/log/shard1.log
logappend = true
bind_ip = 192.168.80.101
port = 27001
fork = true
replSet=shard1 #副本集名称
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数

1
[root@kun02 ~]# vim /etc/mongod/shard2.conf

添加下面参数

1
2
3
4
5
6
7
8
9
10
pidfilepath = /var/run/mongodb/shard2.pid
dbpath = /data/mongodb/shard2/data
logpath = /data/mongodb/shard2/log/shard2.log
logappend = true
bind_ip = 192.168.80.101
port = 27002
fork = true
replSet=shard2 #副本集名称
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数

1
[root@kun02 ~]# vim /etc/mongod/shard3.conf

添加下面参数

1
2
3
4
5
6
7
8
9
10
pidfilepath = /var/run/mongodb/shard3.pid
dbpath = /data/mongodb/shard3/data
logpath = /data/mongodb/shard3/log/shard3.log
logappend = true
bind_ip = 192.168.80.101
port = 27003
fork = true
replSet=shard3 #副本集名称
shardsvr = true #declare this is a shard db of a cluster;
maxConns=20000 #设置最大连接数

2.启动shard1服务

三台机器上都要操作

1
[root@kun02 ~]# mongod -f /etc/mongod/shard1.conf

3.在kun02上登录登录mongodb

1
[root@kun02 ~]# mongo --host 192.168.80.101 --port 27001

4.建立shard1的副本集

kun02为主节点 kun03为从节点 kun04为仲裁

1
2
3
4
5
> use admin

> config = { _id: "shard1", members: [ {_id : 0, host : "192.168.80.101:27001"}, {_id: 1,host : "192.168.80.102:27001"},{_id : 2, host : "192.168.80.103:27001",arbiterOnly:true}] }

> rs.initiate(config)

5.启动shard2服务

三台机器上都要操作

1
[root@kun02 ~]# mongod -f /etc/mongod/shard2.conf

6.在kun03上登录登录mongodb

1
[root@kun03 ~]# mongo --host 192.168.80.102 --port 27002

7.建立shard2的副本集

kun02为仲裁 kun03为主节点 kun04为从节点

1
2
3
4
5
> use admin

> config = { _id: "shard2", members: [ {_id : 0, host : "192.168.80.101:27002" ,arbiterOnly:true},{_id : 1, host : "192.168.80.102:27002"},{_id : 2, host : "192.168.80.103:27002"}] }

>rs.initiate(config)

8.启动shard3服务

三台机器上都要操作

1
[root@kun02 ~]# mongod -f /etc/mongod/shard3.conf

9.在kun04上登录登录mongodb

1
[root@kun04 ~]# mongo --host 192.168.80.103 --port 27003

10.建立shard3的副本集

kun02为从节点 kun03为仲裁 kun04为主节点

1
2
3
4
5
>use admin

> config = { _id: "shard3", members: [ {_id : 0, host : "192.168.80.101:27003"},  {_id : 1, host : "192.168.80.102:27003", arbiterOnly:true}, {_id : 2, host : "192.168.80.103:27003"}] }

> rs.initiate(config)

配置mongos

三台机器上都做下面操作

1.创建mongos.conf配置文件

1
vim /etc/mongod/mongos.conf

添加下面参数

1
2
3
4
5
6
7
8
pidfilepath = /var/run/mongodb/mongos.pid
logpath = /data/mongodb/mongos/log/mongos.log
logappend = true
bind_ip = 192.168.80.101
port = 20000
fork = true
configdb = configs/192.168.80.101:21000,192.168.80.102:21000,192.168.80.103:21000 #监听的配置服务器,只能有1>个或>者3个，configs为配置服务器的副本集名字
maxConns=20000 #设置最大连接数

2.启动mongos服务

1
[root@kun02 ~]# mongos -f /etc/mongod/mongos.conf

3.在任意一台机器上登录mongodb的20000端口

1
[root@kun02 ~]# mongo --host 192.168.80.101 --port 20000

4.串联所有分片和路由

1
2
3
4
5
mongos> sh.addShard("shard1/192.168.80.101:27001,192.168.80.102:27001,192.168.80.103:27001")

mongos> sh.addShard("shard2/192.168.80.101:27002,192.168.80.102:27002,192.168.80.103:27002")

mongos> sh.addShard("shard3/192.168.80.101:27003,192.168.80.102:27003,192.168.80.103:27003")

查看分片状态

格式：sh.status()

1
2
3
4
5
6
7
8
9
10
11
12
mongos> sh.status()
--- Sharding Status ---
  sharding version: {
      "_id" : 1,
      "minCompatibleVersion" : 5,
      "currentVersion" : 6,
      "clusterId" : ObjectId("5b82b1cd6b7dc181df5c330a")
  }
  shards:
        {  "_id" : "shard1",  "host" : "shard1/192.168.80.101:27001,192.168.80.102:27001",  "state" : 1 }
        {  "_id" : "shard2",  "host" : "shard2/192.168.80.102:27002,192.168.80.103:27002",  "state" : 1 }
        {  "_id" : "shard3",  "host" : "shard3/192.168.80.101:27003,192.168.80.103:27003",  "state" : 1 }

21.40 mongodb分片测试

建立数据在分片中，看看是否平均分配至各个节点（分片）中

登录任何一台20000端口

1
2
3
[root@kun02 ~]# mongo --host 192.168.80.101 --port 20000

mongos> use admin

指定要分片的数据库

1
mongos> sh.enableSharding("testdb")

指定数据库里需要分片的集合和片键

1
mongos> sh.shardCollection("testdb.table1",{"id":1} )

插入数据

1
2
3
mongos> use  testdb

mongos>  for (var i = 1; i <= 10000; i++) db.table1.save({id:i,"test1":"testval1"})

再查看多个数据库和数据

1
2
3
4
mongos> sh.enableSharding("test2")
mongos> sh.shardCollection("test2.test2",{"id":1} )
mongos> sh.enableSharding("test3")
mongos> sh.shardCollection("test3.test3",{"id":1} )

查看分片情况

1
mongos> sh.status()

或者

1
db.table1.stats() ##查看tablesz状态

21.41 mongodb备份恢复

备份指定库

格式：mongodump --host IP地址 --port 端口 -d 指定备份的库 -o 备份到的目录

1
[root@kun02 ~]# mongodump --host 192.168.80.101 --port 20000 -d testdb -o /tmp/mongodbbak

其中备份后的目录中会生成要备份指定库的目录，库的目录中会有该库中集合的数据，每个集合都会有两个文件，其中bson文件是真正的数据。json文件是可以查看的数据。

1
2
3
4
[root@kun02 ~]# ls /tmp/mongodbbak/
testdb
[root@kun02 ~]# ls /tmp/mongodbbak/testdb/
table1.bson  table1.metadata.json

备份所有库

格式：mongodump --host IP地址 --port 端口 -o 备份到的目录

1
[root@kun02 ~]# mongodump --host 192.168.80.101 --port 20000 -o /tmp/mongodbbak1

备份指定集合

格式：mongodump --host IP地址 --port 端口 -d 指定备份的库 -c 指定备份的库 -o 备份到的目录

1
[root@kun02 ~]# mongodump --host 192.168.80.101 --port 20000 -d testdb -c table1 -o /tmp/mongodbbak3

备份指定集合为json文件

格式：mongoexport --host IP地址 --port 端口 -d 指定备份的库 -c 指定备份的库 -o 备份为的json文件

1
[root@kun02 ~]# mongoexport --host 192.168.80.101 --port 20000 -d testdb -c table1 -o /tmp/table.json

恢复所有库

格式：mongorestore --host IP地址 --port 端口 [--drop] 备份好的目录

1
[root@kun02 ~]# mongorestore --host 192.168.80.101 --port 20000 /tmp/mongodbbak1/

--drop可选，意思是当恢复之前先把之前的数据删除，不建议使用

恢复指定库

格式：mongorestore --host IP地址 --port 端口 -d 指定恢复的库 备份好的库目录

1
[root@kun02 ~]# mongorestore --host 192.168.80.101 --port 20000 -d testdb /tmp/mongodbbak1/testdb/

恢复指定集合

格式：mongorestore --host IP地址 --port 端口 -d 指定恢复的库 -c 指定恢复的集合 备份好的目录中的bson文件

1
[root@kun02 ~]# mongorestore --host 192.168.80.101 --port 20000 -d testdb -c table1 /tmp/mongodbbak1/testdb/table1.bson

使用json文件来恢复集合

格式：mongoimport --host IP地址 --port 端口 -d 指定恢复的库 -c 指定恢复的集合 --file 指定备份好的json文件

1
[root@kun02 ~]# mongoimport --host 192.168.80.101 --port 20000 -d testdb -c table1 --file /tmp/table.json

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

欢迎光临<br><br>本博客是用来记录学习Linux Python Shell和Perl<br>谢谢大家