(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221047672 9.0 (22)申请日 2022.04.30 (71)申请人 杭州石原子科技有限公司 地址 310000 浙江省杭州市余杭区五常街 道西坝路51号B座20 3、 204室 (72)发明人 王万平　 (74)专利代理 机构 北京盛凡佳华专利代理事务 所(普通合伙) 11947 专利代理师 王艳 (51)Int.Cl. G06F 16/28(2019.01) G06F 16/22(2019.01) G06F 16/215(2019.01) G06F 16/21(2019.01) G06F 16/2455(2019.01) (54)发明名称 一种通用的实时查询引擎 (57)摘要 本发明属于数仓技术领域， 具体为一种通用 的实时查询引擎， 包括注册模块、 数据接入模块、 查询模块、 数据清理模块以及FoundationDB； 所 述注册模 块， 用于在FoundationDB上建立表 格以 及注册索引， 表格用于辅助数据的导入以及查 询， 索引用于调用FoundationDB的查询能力； 所 述数据接入模块， 用于录入数据以及提供插件扩 展机制， 插件扩展机制可以通过插件提取不同格 式的数据， 最后将录入的数据及提取的数据写入 FoundationDB的表 格中； 注册模块支持数据的表 格建模， 数据接入模块具有灵活的数据接入能 力， 提供插件扩展机制支持各种数据格式的录 入， 查询模块支持新数据的事实查询， 从而实现 新写入的数据实时可查， 数据清理模块可以对 过 期数据进行清理， 进 而避免过期占用内存。 权利要求书1页 说明书3页 附图1页 CN 114756632 A 2022.07.15 CN 114756632 A 1.一种通用的实时查询引擎， 其特征在于： 包括注册模块、 数据接入模块、 查询模块、 数 据清理模块以及Foundati onDB； 所述注册模块， 用于在FoundationDB上建立表格以及注册索引， 表格用于辅助数据的 导入以及查询， 索引用于调用Foundati onDB的查询能力； 所述数据接入模块， 用于录入数据以及提供插件扩展机制， 插件扩展机制可以通过插 件提取不同格式的数据， 最后将录入的数据及提取的数据写入Foundati onDB的表格中； 所述查询模块， 用于通过索引调用FoundationDB的查询能力， 然后对FoundationDB的 表格中的数据进行 快速查询； 所述数据清理模块， 用于分析FoundationDB的表格中的数据是否过期， 并对表格中过 期数据进行清理。 2.根据权利要求1所述的一种通用的实时查询引擎， 其特征在于： 所述注册模块还包括 时间添加模块， 所述时间添加模块用于为导入FoundationDB的表格中的数据添加操作时 间， 操作时间也会录入在Foundati onDB的表格中。 3.根据权利要求2所述的一种通用的实时查询引擎， 其特征在于： 所述数据清 理模块还 包括时间设定模块， 所述时间设定模块用于设定过期数据的具体时间， 当数据的操作时间 超过过期数据的具体时间时， 该 数据即为过期数据。 4.根据权利要求2所述的一种通用的实时查询引擎， 其特征在于： 所述查询模块在查询 时， 也可以FoundationDB的表格中的数据的操作时间对FoundationDB的表格中数据进行查 询。 5.根据权利要求1所述的一种通用的实时查询引擎， 其特征在于： 所述数据接入模块在 接受新数据的录入时支持流式写入。 6.根据权利要求1所述的一种通用的实时查询引擎， 其特征在于： 所述数据清 理模块还 包括数据导出模块， 所述数据导出模块用于导出 Foundati onDB的表格中的过期数据。 7.根据权利要求1所述的一种通用的实时查询引擎， 其特征在于： 所述数据清 理模块采 用lock‑free的引擎模型。权　利　要　求　书 1/1 页 2 CN 114756632 A 2一种通用的实时查询引擎 技术领域 [0001]本发明涉及数仓技 术领域， 具体为 一种通用的实时查询引擎。 背景技术 [0002]数仓是数据仓库的简称。 它是一个面向主题的、 集成的、 相对稳定的、 反映历史变 化的数据集合， 用于支持管理决策。 不同于传统数据库对应于某一个或多个项目， 数据仓库 根据使用者实际需求， 将不同数据源的数据在一个较高的抽象层次上做整合， 所有数据都 围绕某一主题来组织。 数据仓库中存储的数据是来源于多个数据源的集成， 原始数据来自 不同的数据源， 存储方式各不相同。 数据仓库中保存的数据是一系列历史快照， 不 允许被修 改， 用户只能通过分析工具进 行查询和分析。 数据仓库会定期 接收新的集成数据， 反应出最 新的数据变化。 [0003]在数仓领域中， 写入数据后需要经过一系列复杂的数据处理后， 才可以对数据进 行查询， 该过程需要较长的时间， 即新写入的数据不能实时可查， 数据的延时不利于对数据 进行实时追踪， 也不能及时的了解到数据的变化， 因此需要一种实时查询引擎， 用于让新写 入的数据实时可查。 发明内容 [0004]本发明的目的在于提供一种通用的实时查询引擎， 以解决上述背景技术中提出的 目前数仓领域无法做到新写入的数据实时可查的问题。 [0005]为实现上述目的， 本 发明提供如下技术方案： 一种通用的实时查询引擎， 包括注册 模块、 数据接入 模块、 查询模块、 数据清理模块以及Foundati onDB； [0006]所述注册模块， 用于在FoundationDB上建立表格以及注册索引， 表格用于辅助数 据的导入以及查询， 索引用于调用Foundati onDB的查询能力； [0007]所述数据接入模块， 用于录入数据以及提供插件扩展机制， 插件扩展机制 可以通 过插件提取不同格式的数据， 最后将录入的数据及提取的数据写入FoundationDB的表格 中； [0008]所述查询模块， 用于通过索引调用FoundationDB的查询能力， 然后对 Foundati onDB的表格中的数据进行 快速查询； [0009]所述数据清理模块， 用于分析FoundationDB的表格中的数据是否过期， 并对表格 中过期数据进行清理。 [0010]优选的， 所述注册模块还包括时间添加模块， 所述时间添加模块用于为导入 FoundationDB的表格中的数据添加操作 时间， 操作时间也会录入在FoundationDB的表格 中。 [0011]优选的， 所述数据清理模块还包括时间设定模块， 所述时间设定模块用于设定过 期数据的具体时间， 当数据的操作时间超过 过期数据的具体时间时， 该 数据即为过期数据。 [0012]优选的， 所述查询模块在查询时， 也可以FoundationDB的表格中的数据的操作时说　明　书 1/3 页 3 CN 114756632 A 3