(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210646892.7
(22)申请日 2022.06.09
(71)申请人 网易 (杭州) 网络有限公司
地址 310052 浙江省杭州市滨江区长河街
道网商路59 9号4幢7层
(72)发明人 肖文浩 於圣楠 张宇昂
(74)专利代理 机构 北京清源汇知识产权代理事
务所(特殊普通 合伙) 11644
专利代理师 冯德魁
(51)Int.Cl.
G06F 16/242(2019.01)
G06F 16/2453(2019.01)
G06F 16/2455(2019.01)
G06F 16/2458(2019.01)
G06F 16/953(2019.01)
(54)发明名称
一种数据查询方法、 系统、 装置及电子设备
(57)摘要
本申请公开了一种数据查询方法、 系统、 装
置、 电子设备 以及计算机可读存储介质, 所述方
法, 包括: 响应于缓存数据库接收到计算引擎发
送的第一数据查询请求, 从缓存 数据库中查询第
一数据查询请求对应的结果数据; 响应于从缓存
数据库中查询到结果数据, 缓存 数据库将结果数
据发送给计算引擎; 响应于从缓存 数据库中未查
询到结果数据, 缓存数据库从存储 数据库中查询
结果数据, 并将从存储数据库中获取的结果数据
发送给计算引擎。 该方法通过将缓存 数据库部署
在计算引擎与存储数据库之间, 减少了存储数据
库的访问压力, 缩短了数据传输距离, 解决了现
有技术存在的数据查询速度慢、 数据传输速度
慢、 数据处 理效率低的问题。
权利要求书3页 说明书19页 附图4页
CN 115221186 A
2022.10.21
CN 115221186 A
1.一种数据查询方法, 其特征在于, 所述方法应用于存算分离架构下的数据查询; 在所
述存算分离架构中的计算引擎与存储数据库之 间部署一缓存数据库, 所述缓存数据库中储
存有所述存储数据库中存储的部分数据, 为所述计算引擎提供短路数据传输; 所述方法包
括:
响应于所述缓存数据库接收到所述计算引擎发送的第 一数据查询 请求, 从所述缓存数
据库中查询所述第一数据查询请求对应的结果数据;
响应于从所述缓存数据库中查询到所述第 一数据查询 请求对应的结果数据, 所述缓存
数据库将所述第一数据查询请求对应的结果数据发送给 所述计算引擎;
响应于从所述缓存数据库中未查询到所述第 一数据查询请求对应的结果数据, 所述缓
存数据库从存储数据库中查询所述第一数据查询请求对应的结果数据, 并将从所述存储数
据库中获取的所述第一数据查询请求对应的结果数据发送给 所述计算引擎。
2.根据权利要求1所述的方法, 其特征在于, 在将从所述存储数据库中获取的所述第 一
数据查询请求对应的结果数据发送给所述计算引擎之后, 所述方法还包括: 将从所述存储
数据库中获取的所述第一数据查询请求对应的结果数据存 储至所述缓存数据库中。
3.根据权利要求2所述的方法, 其特征在于, 在将从所述存储数据库中获取的所述第 一
数据查询请求对应的结果数据存储至所述缓存数据库中之后, 所述方法还包括: 对存储在
所述缓存数据库中的所述第一数据查询请求对应的结果数据设置第一缓存时长阈值, 具体
为:
若所述第一数据查询请求对应的结果数据在缓存数据库中的存储时长大于所述第一
缓存时长阈值, 所述第一数据查询请求对应的结果数据从所述缓存数据库中删除。
4.根据权利要求2所述的方法, 其特征在于, 所述方法还包括: 响应于第二数据查询请
求, 将存储于所述缓存数据库中的所述第二数据查询请求对应的结果数据发送给计算引
擎;
其中, 所述结果数据为响应于所述第一数据查询请求, 将从所述存储数据库中获取的
所述第一数据查询请求对应的结果数据存储至所述缓存数据库中得到的; 所述第一数据查
询请求的查询时刻早于所述第二数据查询请求的查询时刻, 所述第一数据查询请求的查询
内容与所述第二数据查询请求的查询内容相同。
5.根据权利要求1所述的方法, 其特征在于, 所述方法还包括: 将所述缓存数据库与所
述计算引擎共集群部署。
6.根据权利要求5所述的方法, 其特征在于, 所述缓存数据库还包括数据发送单元, 所
述数据发送单 元用于将所述第一数据查询请求对应的结果数据发送给 所述计算引擎;
所述计算引擎还包括数据接收单元, 所述数据接收单元用于接收所述缓存数据库发送
的所述第一数据查询请求对应的结果数据;
所述方法还 包括: 将所述数据发送单 元与所述数据接收单 元共节点部署。
7.根据权利要求1所述的方法, 其特征在于, 所述方法还包括: 按照预设的时间频率, 将
热数据储存至所述缓存数据库中, 所述热数据, 具体为: 预设时段内查询次数超过预设查询
次数阈值的数据。
8.根据权利要求7所述的方法, 其特征在于, 所述方法还包括: 对存储于所述缓存数据
库中的所述热数据设置第二缓存时长阈值, 具体为: 若所述热数据在所述缓存数据库中的权 利 要 求 书 1/3 页
2
CN 115221186 A
2存储时长大于所述第二缓存时长阈值, 则将所述热 数据从所述缓存数据库中删除。
9.根据权利要求8所述的方法, 其特征在于, 所述热数据被查询后, 所述热数据在所述
缓存数据库中的存 储时长重新开始计算。
10.根据权利要求1所述的方法, 其特征在于, 所述响应于所述缓存数据库接收到所述
计算引擎 发送的第一数据查询请求, 从所述缓存数据库中查询所述第一数据查询请求对应
的结果数据, 具体为:
在所述计算引擎中生成所述第一数据查询请求对应的执行计划, 所述执行计划包括:
所述第一数据查询请求对应的数据需求信息和所述第一数据查询请求对应的结果数据在
所述缓存数据库中的分布信息;
所述计算引擎将所述数据需求信息及所述分布信息发送给 所述缓存数据库;
所述缓存数据库根据 所述数据需求信 息及所述分布信 息, 在所述缓存数据库中查询所
述第一数据查询请求对应的结果数据。
11.根据权利要求10所述的方法, 其特征在于, 所述执行计划还包括: 所述计算引擎对
所述第一数据查询请求对应的结果数据的计算信息; 所述方法还 包括:
响应于所述计算引擎接收到所述缓存数据库发送的所述第一数据查询请求对应的结
果数据, 所述计算引擎根据所述计算信息对所述第一数据查询请求对应的结果数据进 行计
算。
12.一种数据查询系统, 其特征在于, 所述系统包括: 计算引擎、 缓存数据库、 存储数据
库; 所述缓存数据库部署在所述计算引擎与所述存储数据库之间, 所述缓存数据库中储存
有所述存 储数据库中存 储的部分数据, 为所述计算引擎 提供短路数据传输;
所述计算引擎, 包括: 信息发送单 元; 数据接收单 元;
所述信息发送单 元, 用于将数据查询请求发送给 所述缓存数据库;
所述数据接收单元, 用于接收所述缓存数据库发送的所述数据查询 请求对应的结果数
据;
所述缓存数据库, 包括: 第一数据查询单元、 第二数据查询单元、 数据发送单元、 数据缓
存单元;
所述第一数据查询单元, 用于从所述缓存数据库中查询所述数据查询请求对应的结果
数据;
所述第二数据查询单元, 用于从所述存储数据库中查询所述数据查询请求对应的结果
数据;
所述数据发送单 元, 用于将所述数据查询请求对应的结果数据发送给 所述计算引擎;
所述数据缓存单 元, 用于缓存所述数据查询请求对应的结果数据;
所述存储数据库, 包括: 数据存 储单元;
所述数据存 储单元, 用于持久性存 储所述查询请求对应的结果数据。
13.根据权利要求12所述的系统, 其特征在于, 所述缓存数据库与所述计算引擎共集群
部署。
14.根据权利要求13所述的系统, 其特征在于, 述缓存数据库中的数据发送单元与 所述
计算引擎中的数据接收单 元共节点部署。
15.一种数据查询装置, 其特征在于, 所述装置应用于存算分离架构下的数据查询; 在权 利 要 求 书 2/3 页
3
CN 115221186 A
3
专利 一种数据查询方法、系统、装置及电子设备
文档预览
中文文档
27 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共27页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 00:11:16上传分享