一 . 背景需求
在日常的业务需求中,们往往会根据时间段来统计数据。例如,统计每小时的下单量;每天的库存变化,这类信息数据对运营管理很重要。
这类数据统计依赖于各个时间维度,年月日、时分秒都有可能。因为需求变化多样,并且表的设计有严格的规范,们不可能将订单的下单时间分别拆分存储到 年、月、日、时、分、秒、毫秒列(字段)中。在实际应用中,们一般都是通过转换函数进行时间转换的。
大家可能对关系型数据库(例如,SQL Server、MySQL)中的时间转换函数和依据时间段进行聚合操作比较熟悉了,但是对MongoDB中的时间转换和依据时间聚合比较陌生。所以,们有必要花费一定时间进行梳理学习一下,拓展丰富自己的知识。
二 . SQL Server数据库关于时间的转换和聚合
为了清楚的了解这类需求,了解时间转换和统计,们先从大家熟悉的SQL Server 入手。例如,们将时间数据存储为datetime类型。
首先,回顾下SQL Server的时间转换函数。 1.通过YEAR(),MONTH(),DAY() 获取年月日数据。
2.通过DATEPART() 函数 返回日期/时间的单独部分,比如年、月、日、小时、分钟等等。
3.datename () 返回代表指定日期的指定日期部分的字符串。此函数与DATEPART() 类似。
此外,还可以通过convert() 等函数进行转换,再次不再赘述。 通过这些函数,们可以进行时间格式的转换,在转换函数的基础上,可以进行时间段内数据量的统计。
例如:基于DATEPART() 函数, 统计2017-10-10到2017-11-10表中每天的数据量。
也可以基于convert() 函数进行统计
三 . MongoDB 数据库关于时间的转换和聚合
以上操作是在SQL Server上进行,如果在MongoDB中,应该借助什么的函数进行类似的转换和统计呢?
如果查看显示 各种格式的时间,可以通过 $dateToString 进行转换。
例如通过转换函数$dateToString,将集合temp_MongoDateTime中的字段Rec_CreateTime转换为 年 字段、月 字段、日 字段、年-月-日、和 时:分:秒:毫秒 字段
代码为: db.temp_MongoDateTime.aggregate( [ { $project: { “_id”:0, “Rec_CreateTime”:1, Year: }, Month: }, Day: }, yearMonthDay: { $dateToString: { format: “%Y-%m-%d”, date: “$Rec_CreateTime” } }, Time: } } } ] )
查询效果如下:
除了$dateToString转换函数外,MongoDBDB 还有获取年月日、时分秒的函数,甚至还提供了处于一年中的多少天,一周的第几天等。
主要函数为$year、$month、$dayOfMonth、 $hour、$minute、$second、$dayOfYear、$dayOfWeek 等。
们直接看下面的例子好了。执行代码: db.temp_MongoDateTime.aggregate( [ { $project: { “_id”:0, “Rec_CreateTime”:1, year: , month: , day: , hour: , minutes: , seconds: , milliseconds: , dayOfYear: , dayOfWeek: , week: * } } ] )*
上面的2个例子都是时间转换,如果按照时间段集合统计数据呢?其实基于上面的时间转换函数,借助MongoDB的聚合框架,同样可以轻松实现。
例如统计1-12 月份,每个月份的数据量,即那个月是旺季。此时基于时间转换函数 $month,执行代码如下: db.temp_MongoDateTime.aggregate( [ { $match: }, { $group:, count:} } ] )
查询效果如下:
上面的数据显示:集合中的记录按月聚合,10月份有341笔;9月份有48笔。其中字段_id 代表了月份。
们再举一个例子,例如统计 集合temp_MongoDateTime 在 2016-10-05 05:51:50 到 2018-10-06 05:51:50 这段时间内**,0-24 小时内,每小时的分布情况。即,每天那个时辰(小时)下单量比较多。
此时基于时间转换函数 $hour ,代码如下: db.temp_MongoDateTime.aggregate( [ { $match:{ “Rec_CreateTime”:{$gte:ISODate(“2016-10-05 05:51:50”),$lte:ISODate(“2018-10-06 05:51:50”)} } }, {$group:{ _id:, count: } } ] )
查询结果显示如下:
再举一个关于时间聚合统计的例子,这个例子是基于时间转换函数$dateToString 的。
例如统计每天的数据量,即每天的数据分布情况。这个每天是按 年-月-日统计分布的。
代码如下: db.temp_MongoDateTime.aggregate( [ { $match:{ “Rec_CreateTime”:{$gte:ISODate(“2016-10-05 05:51:50”),$lte:ISODate(“2018-10-06 05:51:50”)} } }, {$group:{ _id: }, count: } } ] )
查询效果显示如下:
四 . 总结
和关系型数据库 SQL Server 一样,MongoDB数据库通过自身的时间转换函数,例如, $dateToString、$year、$month、$dayOfMonth、 $hour、$minute、$second、$dayOfYear、$dayOfWeek等,也可以轻松实现时间转换和基于时间段的聚合统计。
本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!
原文创作:东山絮柳仔
原文链接:https://www.cnblogs.com/xuliuzai/p/9802869.html
文章列表
- 通过Python收集MySQL MHA 部署及运行状态信息的功能实现
- 通过Python将监控数据由influxdb写入到MySQL
- 通过Python实现生成excel并邮件发送的功能
- 通过Python实现对SQL Server 数据文件大小的监控告警
- 通过 Telegraf + InfluxDB + Grafana 快速搭建监控体系的详细步骤
- 迁移Report Server DataBase时遇到的坑
- 谨慎 mongodb 关于数字操作可能导致类型及精度变化
- 详解MongoDB中的多表关联查询$lookup
- 瞧一瞧!这儿实现了MongoDB的增量备份与还原含部署代码
- 时序数据库InfluxDB的基本语法
- 数据库服务器资源使用情况周报
- 数据库如何应对保障大促活动
- 我10亿级ES数据迁到MongoDB节省90%成本!转载
- 应用部署架构演进转载 -
- 学习ProxySQL参考到几个网址
- 名言小抄五
- 关于SQL Server 镜像数据库快照的创建及使用
- 关于SQL Server 数据库归档的一些思考和改进
- 关于MongoDB时间格式转换和时间段聚合统计的用法总结
- 以实现MongoDB副本集状态的监控为例,看Telegraf系统中Exec输入插件如何编写部署
- 一个磁盘I/O故障导致的AlwaysOn FailOver 过程梳理和分析
- shell 操作钉钉机器人实现告警提醒
- python 学习笔记 四
- python 学习 三
- kapacitor的安装及部分常用命令
- TiDB 架构及设计实现
- TiDB 学习笔记一运维管理
- SQL Server 查看当前会话状态sp_WhoIsActive 转载 -
- SQL Server DB迁移工作List
- SQL Server CPU 利用率毛刺的分析定位与解决
- SQL Server Alwayson架构下 服务器 各虚拟IP漂移监控告警的功能实现 1服务器视角
- Python发送的邮件设置收件人隐藏与显示
- MySQL索引设计需要考虑哪些因素?
- MySQL日志收集之Filebeat和Logstsh的一键安装配置ELK架构
- MySQL数据归档小工具推荐及优化mysql_archiver
- MySQL数据库规范 设计规范+开发规范+操作规范
- MySQL数据库Inception工具学习与测试 笔记
- MySQL常用命令汇总偏向运维管理
- MySQL在线DDL工具 ghost
- MySQL 学习笔记四
- MySQL 学习笔记三
- MySQL alter table时执行innobackupex全备再谈Seconds_Behind_Master
- MySQL MHA 运行状态监控
- MongoDB数据库的设计规范
- MongoDB实例重启失败探究大事务Redo导致
- MongoDB 那些事一文以蔽之
- MongoDB 中的加减乘除 - 运算
- MongoDB 中数据的替换方法实现 类Replace函数功能
- Linux常用命令总结二
- K8S基础学习