(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210649698.4 (22)申请日 2022.06.10 (65)同一申请的已公布的文献号 申请公布号 CN 114741434 A (43)申请公布日 2022.07.12 (73)专利权人 北京亿赛 通科技发展 有限责任公 司 地址 100085 北京市海淀区西二 旗大街39 号4层401 (72)发明人 朱贺军　李毅　雷晟　 (74)专利代理 机构 北京千壹知识产权代理事务 所(普通合伙) 11940 专利代理师 王玉玲 (51)Int.Cl. G06F 16/2458(2019.01)G06F 16/2455(2019.01) G06F 16/22(2019.01) (56)对比文件 WO 2022083520 A1,202 2.04.28 US 10936551 B1,2021.0 3.02 审查员 王楠 (54)发明名称 一种海量ES搜索数据的预统计方法及系统 (57)摘要 本发明涉及计算机数据处理技术领域， 公开 了一种海量ES搜索数据的预统计方法， 包括将统 计开始时程序上下文的状态变量和环境变量保 存至当前线程中； 获取下一统计任务， 将统计任 务按照统计维度划分为若干组， 分组进行查询， 获得树形结构的ES聚合结果； 遍历树形结构的ES 聚合结果， 根据树形结构中每个节点的Node对象 中的描述， 获取该节点的父节点信息， 并将ES聚 合结果的全部信息进行保存； 通过一张模版表动 态的创建天表、 周表和月表， 将ES聚合结果的全 部信息按照时间划分到天表、 周表和月表中； 更 新上下文的状态 变量和环境变量并持久化。 本发 明提高了海量数据统计分析效能， 降低对系统资 源的使用， 保证数据准确可靠， 提供良好扩 展性。 权利要求书2页 说明书7页 附图3页 CN 114741434 B 2022.09.06 CN 114741434 B 1.一种海量ES搜索数据的预统计方法， 其特 征在于， 包括： 将每次统计开始时程序上 下文的状态变量和环境变量保存至当前线程中； 获取下一统计任务， 将统计任务按照统计维度划分为若干组， 分组进行查询， 获得树形 结构的ES聚合结果； 遍历所述树形结构的ES聚合结果， 根据树形结构中的每个节点的Node对象中的描述， 获取该节点的父节点的信息， 并将ES聚合结果的全部信息进行保存； 通过一张模版表动态的创建天表、 周表和月表， 将ES聚合结果的全部信息保存为天表， 所述天表包括以小时为单位聚合的数据， 将所述天表中的数据同步至周表和月表中， 所述 周表和月表包括以天为单位聚合的数据； 将时间和各 统计维度计算出的MD 5值组合成索引， 在将所述天表中的数据同步至周表和月表的过程中， 利用所述索引做批量的更新插入操 作； 更新上下文的状态变量和环境变量并持久化。 2.根据权利要求1所述的一种海量ES搜索数据的预统计方法， 其特 征在于： 若统计任务为统计实时数据， 则每次统计的时间间隔为一个小时， 并将本次统计的数 据标记为临时数据， 在下次统计前， 将所述临时数据删除， 并重新统计一小时内的数据； 若统计任务为统计历史数据， 则每次统计的时间间隔为一个小时， 下次统计时直接跳 转至下一小时。 3.根据权利要求1所述的一种海量ES搜索数据的预统计方法， 其特 征在于， 还 包括： 若历史数据距离当前时间小于ES搜索数据写入磁盘存储文件的时间， 则将预统计线程 挂起等待。 4.一种海量ES搜索数据的预统计系统， 其特 征在于， 包括： 第一模块， 被配置为将每次统计开始时程序 上下文的状态变量和环境变量保存至当前 线程中； 第二模块， 被配置为获取下一统计任务， 将统计任务按照统计维度划分为若干组， 分组 进行查询， 获得树形 结构的ES聚合结果； 第三模块， 被配置为遍历所述树形结构的ES聚合结果， 根据树形结构中的每个节点的 Node对象中的描述， 获取 该节点的父节点的信息， 并将ES聚合结果的全部信息进行保存； 第四模块， 被配置为通过一张模版表动态的创建天表、 周表和月表， 将ES聚合结果的全 部信息保存为天表， 所述天表包括以小时为单位聚合的数据， 将所述天表中的数据同步至 周表和月表中， 所述周表和月表包括以天为单位聚合的数据； 将时间和各统计维度计算出 的MD5值组合成索引， 在将所述 天表中的数据同步至周表和月表的过程中， 利用所述索引做 批量的更新插 入操作； 第五模块， 被 配置为更新上 下文的状态变量和环境变量并持久化。 5.根据权利要求 4所述的一种海量ES搜索数据的预统计系统， 其特 征在于： 若统计任务为统计实时数据， 则每次统计的时间间隔为一个小时， 并将本次统计的数 据标记为临时数据， 在下次统计前， 将所述临时数据删除， 并重新统计一小时内的数据； 若统计任务为统计历史数据， 则每次统计的时间间隔为一个小时， 下次统计时直接跳 转至下一小时。 6.根据权利要求 4所述的一种海量ES搜索数据的预统计系统， 其特 征在于， 还 包括：权　利　要　求　书 1/2 页 2 CN 114741434 B 2第六模块， 被配置为若历史数据距离当前时间小于ES搜索数据写入磁盘存储文件的时 间， 则将预统计线程 挂起等待。权　利　要　求　书 2/2 页 3 CN 114741434 B 3