使用【数据牛刀】轻松驾驭日增长100万级的大流水数据表
程序员文章站
2022-04-28 19:29:15
【数据牛刀】是本人贡献的一款提供大数据表自动分割、归档和清理过期数据的服务。它使用C# /.NET CORE实现,当前支持Mysql数据源,支持docker容器。 ......
【数据牛刀】是本人贡献的一款提供大数据表自动分割、归档和清理过期数据的服务。它使用c# /.net core实现,当前支持mysql数据源以及在docker容器中运行。
项目地址:https://github.com/mfjiang/dataniuknife
核心功能:
1、通过简单的配置,可管理任意多个数据库节点上的大数据表的定期数据分割、归档和清理。
2、每日执行数据复制。
3、按指定天数移除过期数据。
4、按月归档数据。
希望使用此服务的大数据表,有如下要求:
- 数据表存在自增长id;
- 数据表存在时间列,数据以时间顺序增长;
- 数据表不存在外键约束;
- 提供一个拥有读取数据表元数据和建表权限的数据库账号;
配置示例:
{
"appsettings": {
"logmanpath": "/app/logman/"
},
"mysqlclustersettings": {
"nodes": [
{
{
"mysqlnode": {
"id":1,
"isslave": false,
"databasesname": "data_sharding_a",
"connstr": "server=192.168.3.250;database=data_sharding_a;user=app_user;password=your pwd;charset=utf8;",
"devidefromnodeid": 0,
"devidedataset": "table 1:hash key,table 2:hash key,table n:hash key",
"automovedataset": "table_name=data_shard,key_name=id,date_field=created,data_hold_days=180,archive_node_id=2,schedule_time=23:00:00;"
}
},
{
"mysqlnode": {
"id": 2,
"isslave": false,
"databasesname": "data_sharding_b",
"connstr": "server=192.168.3.250;database=data_sharding_b;user=app_user;password=your pwd;charset=utf8;",
"devidefromnodeid": 0,
"devidedataset": "",
"automovedataset": ""
}
}
]
},
"allowedhosts": "*"
}
理解这一段配置:
"automovedataset": "table_name=data_shard,key_name=id,date_field=created,data_hold_days=180,archive_node_id=2,schedule_time=23:00:00;"
table_name: 要列入自动管理的数据表名。
key_name: 主键名。
date_field: 时间列名。
data_hod_days: 数据保留期的天数。
archive_node_id: 本配置中作为归档库的数据库节点id。
schedule_time: 每日运行的计划时间。
如果一个db节点有多个数据表要配置,只需用;号拼接配置行即可。
本服务可以在docker容器中运行:
docker build -f dockfile -t data_niu_knife:demo .
docker run --name data_niu_knife_hosted --mount type=bind,source=/home/docker_data/dataniuknife/logman/,target=/app/logman/ -d data_niu_knife:demo .
正常运行后,可以看到类似如下日志:
[root@localhost ~]# cat /home/docker_data/dataniuknife/logman/mysqldataworker-2019-07-29-pid1.log
====== dataniuknife.mysqldataworker info 07/29/2019 11:00:00 ======
mysqldataworker已在服务环境启动,源表名:data_shard
====== dataniuknife.mysqldataworker info 07/29/2019 11:00:00 ======
开始自动创建分表,表名:data_shard_spt_201907
====== dataniuknife.mysqldataworker info 07/29/2019 11:00:00 ======
开始创建分表:
create table if not exists `data_shard_spt_201907` (
`id` bigint(10) unsigned not null auto_increment,
`value` varchar(255) default null,
`created` datetime not null,
primary key (`id`)
) engine=innodb auto_increment=51 default charset=utf8mb4 collate=utf8mb4_0900_ai_ci
====== dataniuknife.mysqldataworker info 07/29/2019 11:00:01 ======
成功创建分表:data_shard_spt_201907
====== dataniuknife.mysqldataworker info 07/29/2019 11:00:01 ======
成功自动创建分表,表名:data_shard_spt_201907
====== dataniuknife.mysqldataworker info 07/29/2019 11:00:01 ======
开始自动复制数据,源表名:data_shard,分表名:data_shard_spt_201907
====== dataniuknife.mysqldataworker info 07/29/2019 11:00:02 ======
自动复制了50笔数据,源表名:data_shard,分表名:data_shard_spt_201907