欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

关于MongoDB时间格式转换和时间段聚合统计的用法总结

程序员文章站 2022-05-18 14:26:08
一 . 背景需求 在日常的业务需求中,我们往往会根据时间段来统计数据。例如,统计每小时的下单量;每天的库存变化,这类信息数据对运营管理很重要。 这类数据统计依赖于各个时间维度,年月日、时分秒都有可能。因为需求变化多样,并且表的设计有严格的规范,我们不可能将订单的下单时间分别拆分存储到 年、月、日、时 ......

一 . 背景需求

在日常的业务需求中,我们往往会根据时间段来统计数据。例如,统计每小时的下单量;每天的库存变化,这类信息数据对运营管理很重要。

这类数据统计依赖于各个时间维度,年月日、时分秒都有可能。因为需求变化多样,并且表的设计有严格的规范,我们不可能将订单的下单时间分别拆分存储到 年、月、日、时、分、秒、毫秒列(字段)中。在实际应用中,我们一般都是通过转换函数进行时间转换的。

大家可能对关系型数据库(例如,sql server、mysql)中的时间转换函数和依据时间段进行聚合操作比较熟悉了,但是对mongodb中的时间转换和依据时间聚合比较陌生。所以,我们有必要花费一定时间进行梳理学习一下,拓展丰富自己的知识。

二 . sql server数据库关于时间的转换和聚合

为了清楚的了解这类需求,了解时间转换和统计,我们先从大家熟悉的sql server 入手。例如,我们将时间数据存储为datetime类型。

首先,回顾下sql server的时间转换函数。

1.通过year(),month(),day() 获取年月日数据。

关于MongoDB时间格式转换和时间段聚合统计的用法总结

 

2.通过datepart() 函数 返回日期/时间的单独部分,比如年、月、日、小时、分钟等等。

关于MongoDB时间格式转换和时间段聚合统计的用法总结

 

3.datename () 返回代表指定日期的指定日期部分的字符串。此函数与datepart() 类似。

关于MongoDB时间格式转换和时间段聚合统计的用法总结

此外,还可以通过convert() 等函数进行转换,再次不再赘述。

通过这些函数,我们可以进行时间格式的转换,在转换函数的基础上,可以进行时间段内数据量的统计。

例如:基于datepart() 函数 统计2017-10-10到2017-11-10表中每天的数据量。

 关于MongoDB时间格式转换和时间段聚合统计的用法总结

也可以基于convert() 函数进行统计

关于MongoDB时间格式转换和时间段聚合统计的用法总结 

三 . mongodb 数据库关于时间的转换和聚合

以上操作是在sql server上进行,如果在mongodb中,应该借助什么的函数进行类似的转换和统计呢?

如果查看显示 各种格式的时间,可以通过 $datetostring 进行转换。

例如通过转换函数$datetostring,将集合temp_mongodatetime中的字段rec_createtime转换为 年 字段、月 字段、日 字段、年-月-日、和 时:分:秒:毫秒 字段

代码为:

db.temp_mongodatetime.aggregate(

   [

     {

       $project: {

           "_id":0,

           "rec_createtime":1,

          year: { $datetostring: { format: "%y", date: "$rec_createtime" } },

          month: { $datetostring: { format: "%m", date: "$rec_createtime" } },

          day: { $datetostring: { format: "%d", date: "$rec_createtime" } },

          yearmonthday: { $datetostring: { format: "%y-%m-%d", date: "$rec_createtime" } },

          time: { $datetostring: { format: "%h:%m:%s:%l", date: "$rec_createtime"} }

       }

     }

   ]

)

 查询效果如下:

关于MongoDB时间格式转换和时间段聚合统计的用法总结

 

除了$datetostring转换函数外,mongodbdb 还有获取年月日、时分秒的函数,甚至还提供了处于一年中的多少天,一周的第几天等。

主要函数为$year、$month、$dayofmonth、 $hour、$minute、$second、$dayofyear、$dayofweek 等。

我们直接看下面的例子好了。执行代码:

db.temp_mongodatetime.aggregate(

   [

     {

       $project:

         {

           "_id":0,

           "rec_createtime":1,

           year: { $year: "$rec_createtime" },

           month: { $month: "$rec_createtime" },

           day: { $dayofmonth: "$rec_createtime" },

           hour: { $hour: "$rec_createtime" },

           minutes: { $minute: "$rec_createtime" },

           seconds: { $second: "$rec_createtime" },

           milliseconds: { $millisecond: "$rec_createtime" },

           dayofyear: { $dayofyear: "$rec_createtime" },

           dayofweek: { $dayofweek: "$rec_createtime" },

           week: { $week: "$rec_createtime" }

         }

     }

   ]

)

关于MongoDB时间格式转换和时间段聚合统计的用法总结

 

上面的2个例子都是时间转换,如果按照时间段集合统计数据呢?其实基于上面的时间转换函数,借助mongodb的聚合框架,同样可以轻松实现。

例如统计1-12 月份,每个月份的数据量,即那个月是旺季。此时基于时间转换函数 $month执行代码如下:

db.temp_mongodatetime.aggregate(

[

{

    $match:{}

},

{

    $group:{_id:{$month:"$rec_createtime"},

    count:{$sum:1}}  

}

]

)

查询效果如下:

关于MongoDB时间格式转换和时间段聚合统计的用法总结

上面的数据显示:集合中的记录按月聚合,10月份有341笔;9月份有48笔。其中字段_id 代表了月份。

我们再举一个例子,例如统计 集合temp_mongodatetime 在 2016-10-05 05:51:50 到 2018-10-06 05:51:50 这段时间内,0-24 小时内,每小时的分布情况。即,每天那个时辰(小时)下单量比较多。

此时基于时间转换函数 $hour 代码如下:

db.temp_mongodatetime.aggregate(

[

{

$match:{

"rec_createtime":{$gte:isodate("2016-10-05 05:51:50"),$lte:isodate("2018-10-06 05:51:50")}

       }

},

{$group:{

        _id:{ $hour: "$rec_createtime" },

         count:{$sum:1}

        }

}

]

)

查询结果显示如下:

关于MongoDB时间格式转换和时间段聚合统计的用法总结

再举一个关于时间聚合统计的例子,这个例子是基于时间转换函数$datetostring

例如统计每天的数据量,即每天的数据分布情况。这个每天是按 年-月-日统计分布的。

代码如下:

db.temp_mongodatetime.aggregate(

[

{

$match:{

"rec_createtime":{$gte:isodate("2016-10-05 05:51:50"),$lte:isodate("2018-10-06 05:51:50")}

       }

},

{$group:{

        _id:{ $datetostring: { format: "%y-%m-%d", date: "$rec_createtime" } },

         count:{$sum:1}

        }

}

]

)

查询效果显示如下:

关于MongoDB时间格式转换和时间段聚合统计的用法总结

四 . 总结

和关系型数据库 sql server 一样,mongodb数据库通过自身的时间转换函数,例如, $datetostring、$year、$month、$dayofmonth、 $hour、$minute、$second、$dayofyear、$dayofweek等,也可以轻松实现时间转换和基于时间段的聚合统计。

 

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!