(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210691498.5 (22)申请日 2022.06.17 (71)申请人 上海驻云信息科技有限公司 地址 201203 上海市浦东 新区中国(上海) 自由贸易试验区科 苑路399号7幢 (72)发明人 蒋烁淼　陆宏鸣　 (74)专利代理 机构 北京中索 知识产权代理有限 公司 11640 专利代理师 隋晓勇 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/2458(2019.01) (54)发明名称 一种流式大 数据分频预聚合与查询方法 (57)摘要 本发明提供一种流式大数据分频预聚合与 查询方法及系统， 所述方法包括以下步骤： 将指 标数据进行分组， 将分组的指标数据以及相同链 路服务之间的调用关系数据进行分钟级别的预 聚合统计； 启动小时级别定时任务， 将分钟级别 数据聚合 成小时级的预聚合统计数据； 启动日级 别的定时任务， 将小时级数据再聚合成日级的预 聚合统计数据； 切分数据查询的时间范围； 通过 查询器从不同层级的分频预聚合数据中统计对 应的时间范围的数据； 在内存中汇总聚合计算， 得出计算结果返回调用方。 本发 明利用少量的存 储资源达到降低计算资源消耗 以及缩短用户的 数据查询时间， 并且能够根据用户查询的时间范 围自动从不同层级的预聚合频段的预聚合数据 中查询统计 。 权利要求书2页 说明书6页 附图2页 CN 115098542 A 2022.09.23 CN 115098542 A 1.一种流式大 数据分频 预聚合与查询方法， 其特 征在于， 包括以下步骤： a1、 在原始数据流入数据中心写入存储引擎之前， 以数据链路服务的服务名称将指标 数据进行分组， 将分组的指标数据以及相同链路服务之 间的调用关系数据进 行分钟级别的 预聚合统计； a2、 启动一个小时级别的定时任务， 将前一个整小时内的所述分钟级别的预聚合数据 再进行一级聚合， 聚合成分组的小时级的预聚合统计数据； a3、 启动一个日级别的定时任务， 将前一整日的小时级预聚合数据再进行一级聚合， 聚 合成分组的日级的预聚合统计数据； a4、 将数据查询的时间范围从小时级别切分成： 一个小时级别和多个分钟级别的组合、 多个小时级别和多个分钟级别的组合、 多个小时级别和一个分钟级别的组合、 多个小时级 别、 多个分钟级别的五种方式 中的一种； a5、 通过查询器从所述分钟级预聚合数据中统计分钟级时间范围的数据， 从小时级预 聚合数据中统计小时级时间范围的数据， 以此类推， 从不同层级的分频预聚合数据中统计 对应的时间范围的数据； a6、 将所述从不同层级的分频预聚合数据中查询出来的数据链路服务以及指标数据在 内存中汇总聚合计算， 得 出计算结果。 2.根据权利要求1所述的流式大数据分频预聚合与查询方法， 其特征在于， 所述a1步骤 的所述服务名称包括： 请求数、 错 误数、 平均响应时间。 3.根据权利要求1所述的流式大数据分频预聚合与查询方法， 其特征在于， 所述a1步骤 的所述预聚合统计之后还 包括： 将所述预聚合统计的预聚合数据单独一份存储； 将原始数据存储进存储引擎， 再单独 在存储引擎中存 储一份所述预聚合数据。 4.根据权利要求1所述的流式大数据分频预聚合与查询方法， 其特征在于， 所述a5步骤 的所述从不同层级的分频 预聚合数据中统计对应的时间范围的数据的方法包括： 如查询的时间范围超过一天， 则时间范围将自动切分成分钟、 整小时、 整天三个时间范 围层级的数据查询范围。 5.根据权利要求1所述的流式大数据分频预聚合与查询方法， 其特征在于， 所述a5步骤 的所述从不同层级的分频 预聚合数据中统计对应的时间范围的数据的方法还 包括： 如查询一个月时间范围的的数据， 则对第 一层的分钟级别的预聚合数据 再进行一层或 N层的更大时间范围的预聚合。 6.根据权利要求1所述的流式大数据分频预聚合与查询方法， 其特征在于， 所述a6步骤 之后还包括： 将所述计算结果返回给调用方。 7.一种流式大数据分频预聚合与查询系统， 执行如权利要求1 ‑6任一项所述的流式大 数据分频 预聚合与查询方法， 其特 征在于， 包括： 预聚合统计模块： 用于在原始数据流入数据中心写入存储引擎之前， 以数据链路服务 的服务名称将指标数据进 行分组， 将分组的指标数据以及相同链路服务之 间的调用关系数 据进行分钟级别的预聚合统计； 小时级聚合模块： 用于启动一个小时级别的定时任务， 将前一个整小时内的所述分钟 级别的预聚合数据再进行一级聚合， 聚合成小时级的预聚合统计数据；权　利　要　求　书 1/2 页 2 CN 115098542 A 2日级聚合模块： 用于启动一个日级别的定时任务， 将前一整日的小时级预聚合数据再 进行一级聚合， 聚合成分组的日级的预聚合统计数据； 查询范围切分模块： 用于将数据查询的时间范围从小时级别切分成： 一个小时级别和 多个分钟级别的组合、 多个小时级别和多个分钟级别的组合、 多个小时级别和一个分钟级 别的组合、 多个小时级别、 多个分钟级别的五种方式 中的一种； 统计查询数据模块： 通过查询器从所述分钟级预聚合数据中统计分钟级时间范围的数 据， 从小时级 预聚合数据中统计小时级时间范围的数据， 以此类推， 从不同层级的分频预聚 合数据中统计对应的时间范围的数据； 汇总聚合模块： 用于将从不同层级的分频预聚合数据中查询出来的数据链路服务以及 指标数据在内存中汇总聚合计算， 得 出计算结果， 将所述计算结果返回给调用方。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器 执行时实现权利要求1 ‑6任一项所述的流式大 数据分频 预聚合与查询方法的步骤。 9.一种计算机设备， 所述计算机设备包括存储器、 处理器及存储在存储器上并可在处 理器上运行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑6任 一项所述的流式大 数据分频 预聚合与查询方法的步骤。权　利　要　求　书 2/2 页 3 CN 115098542 A 3