(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210679957.8
(22)申请日 2022.06.16
(71)申请人 支付宝 (杭州) 信息技 术有限公司
地址 310000 浙江省杭州市西湖区西溪路
556号8层B段801-1 1
(72)发明人 连文珑
(74)专利代理 机构 北京亿腾知识产权代理事务
所(普通合伙) 11309
专利代理师 陈霁 周良玉
(51)Int.Cl.
G06F 16/2455(2019.01)
G06F 16/22(2019.01)
G06Q 20/08(2012.01)
(54)发明名称
一种数据存 储、 数据查询方法及装置
(57)摘要
本说明书实施例提供了一种数据存储、 数据
查询方法及装置。 前端节点可以对写入请求或查
询请求进行路由分发, 使 得同一主体的请求分发
给同一服务器节点。 服务器节 点在本地的存储单
元中存储最近一段时间的聚合后的细粒度数据,
一方面提升 吞吐量, 一方面降低查询耗时。 并且,
将存储单元中的数据备份在数据存储平台中。 将
业务跨度比较大的更早的冷数据, 也就是聚合后
的粗粒度数据存储在数据存储平台中。 因此, 查
询时的热数据直接在本地的存储 单元中读取, 而
查询时覆盖到的冷数据可以到数据存储平台中
捞取数据。
权利要求书3页 说明书13页 附图3页
CN 115033603 A
2022.09.09
CN 115033603 A
1.一种数据存储方法, 通过服务器节点执行, 所述服务器节点中包含存储单元, 所述服
务器节点与数据存 储平台通信连接; 所述方法包括:
接收待写入的第一数据;
将所述第一数据与 所述存储单元中的数据进行基于第 一时长单位的聚合, 并将得到的
第一粒度聚合数据写入所述存 储单元;
当所述存 储单元中的数据满足预设转移条件时, 从所述存 储单元中确定待转移数据;
将所述待转移数据中的第 一粒度聚合数据与从所述数据存储平台中获取的数据, 进行
基于第二时长单位的聚合, 并将得到的第二粒度聚合数据存储至所述数据存储平台; 其中,
所述第二时长单位大于所述第一时长单位。
2.根据权利要求1所述的方法, 在从所述存 储单元中确定待转移数据之后, 还 包括:
将所述待转移数据存 储至所述数据存 储平台。
3.根据权利要求1所述的方法, 所述将所述第一数据与所述存储单元中的数据进行基
于第一时长单位的聚合的步骤, 包括:
当所述第一数据 是一个第 一时长单位中的首个数据时, 直接将所述第 一数据写入所述
存储单元中;
当所述第一数据不是所述首个数据时, 按照预设方式将所述第 一数据与所述存储单元
中的对应数据进行聚合, 直至聚合得到第一时长单位的完整数据。
4.根据权利要求1所述的方法, 所述存储单元用于存储最新的n个第 一时长单位的第 一
粒度聚合数据, 且存储的数据量最大值为第一数据量; 所述预设转移条件包括以下条件中
的至少一种:
当所述存储单元中的第 一粒度聚合数据包含的第 一时长单位数量达到第 一数量时; 所
述第一数量 不大于所述 n;
当所述存储单元中存储的数据量达到数据量阈值 时; 所述数据量阈值不大于所述第 一
数据量。
5.根据权利要求1所述的方法, 所述将得到的第二粒度聚合数据存储至所述数据存储
平台的步骤, 包括:
当得到的第 二粒度聚合数据尚未聚合达到一个第 二时长单位的完整数据时, 将得到的
第二粒度聚合数据存 储至所述数据存 储平台。
6.根据权利要求5所述的方法, 还 包括:
当得到的第 二粒度聚合数据已经聚合达到一个第 二时长单位的完整数据时, 将得到的
第二粒度聚合数据写入所述存 储单元。
7.根据权利要求6所述的方法, 所述存储单元还用于存储最新的m个第 二时长单位的第
二粒度聚合数据; 所述从所述存 储单元中确定待转移数据的步骤, 包括:
从所述存 储单元存储的第二粒度聚合数据中确定待转移数据。
8.根据权利要求1所述的方法, 从所述数据存储平台中获取的数据携带第 一版本信 息;
所述将得到的第二粒度聚合数据存 储至所述数据存 储平台的步骤, 包括:
将所述第一版本信 息更新为第 二版本信 息, 将所述第 二版本信 息和得到的第 二粒度聚
合数据关联地存 储至所述数据存 储平台。
9.根据权利要求1所述的方法, 在将得到的第二粒度聚合数据存储至所述数据存储平权 利 要 求 书 1/3 页
2
CN 115033603 A
2台之后, 还 包括:
在元数据中更新存 储至所述数据存 储平台的数据信息 。
10.根据权利要求1所述的方法, 所述第一数据为第一用户的数据;
所述将所述第 一数据与所述存储单元中的数据进行基于第 一时长单位的聚合的步骤,
包括:
将所述第一数据与 所述存储单元中所述第 一用户的数据, 进行基于第 一时长单位的聚
合, 得到所述第一用户的第一粒度聚合数据;
所述将所述待转移数据中的第 一粒度聚合数据与从所述数据存储平台中获取的数据,
进行基于第二时长单位的聚合的步骤, 包括:
将所述待转移数据中所述第 一用户的第 一粒度聚合数据, 与从所述数据存储平台中获
取的所述第一用户的数据, 进行基于第二时长单位的聚合, 得到所述第一用户的第二粒度
聚合数据。
11.一种数据查询方法, 通过服务器节点执行, 所述服务器节点中包含存储单元, 所述
服务器节点与数据存 储平台通信连接; 所述方法包括:
确定待查询数据;
确定用于确定所述待查询数据的聚合数据的存 储位置;
当所述存储位置指示所述聚合数据中的部分数据存储在所述存储单元, 部分数据存储
在所述数据存储平台时, 从所述存储单元中获取对应的第一粒度聚合数据, 从所述数据存
储平台获取对应的第二粒度聚合数据; 其中, 所述第一粒度聚合数据是所述服务器节点将
接收的第一数据与所述存储单元中的数据进 行基于第一时长单位的聚合而得到的; 所述第
二粒度聚合数据是所述服务器节点将第一粒度聚合数据与所述数据存储平台的数据, 进 行
基于第二时长单位的聚合而得到的;
将获取的第 一粒度聚合数据与获取的第 二粒度聚合数据进行聚合, 基于聚合后的数据
确定待查询数据。
12.根据权利要求1 1所述的方法, 还 包括:
当所述存储位置指示所述聚合数据全部存储在所述存储单元时, 从所述存储单元中获
取对应的第一粒度聚合数据;
基于获取的第一粒度聚合数据确定所述待查询数据。
13.根据权利要求11所述的方法, 所述存储单元还用于存储最新的m个第 二时长单位的
第二粒度聚合数据; 所述方法还 包括:
当所述存储位置指示所述聚合数据中的不同部分数据存储在所述存储单元的不同位
置时, 从所述存储单元的不同位置中获取对应的第一粒度聚合数据和对应的第二粒度聚合
数据;
将获取的第 一粒度聚合数据与获取的第 二粒度聚合数据进行聚合, 基于聚合后的数据
确定待查询数据。
14.根据权利要求11所述的方法, 所述确定用于确定所述待查询数据的聚合数据的存
储位置的步骤, 包括:
从元数据中确定用于确定所述待查询数据的聚合数据的存 储位置。
15.一种数据存储装置, 部署在服务器节点中, 所述服务器节点中包含存储单元, 所述权 利 要 求 书 2/3 页
3
CN 115033603 A
3
专利 一种数据存储、数据查询方法及装置
文档预览
中文文档
20 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 00:11:09上传分享