(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210408111.0
(22)申请日 2022.04.19
(71)申请人 佛山市广润科技信息有限公司
地址 528000 广东省佛山市禅城区汾江西
路1号B座12 楼
(72)发明人 陈辉 李志伟
(74)专利代理 机构 广州嘉权专利商标事务所有
限公司 4 4205
专利代理师 刘力
(51)Int.Cl.
G06F 16/28(2019.01)
G06F 16/27(2019.01)
G06F 16/2455(2019.01)
G06F 16/25(2019.01)
G06F 16/215(2019.01)G06F 11/14(2006.01)
(54)发明名称
一种股票交易数据处理方法、 装置及计算机
可读存储介质
(57)摘要
本发明涉及数据处理技术领域, 具体涉及一
种股票交易数据处理方法、 装置及计算机可读存
储介质, 方法包括: 从第三方数据库中获取有价
证券对应的原始交易数据; 基于原始交易数据生
成基础数据和派生数据, 将基础数据和派生数据
对应存储到自有数据库中的各个数据库; 当接收
客户端发送的查询请求时, 根据查询请求确定用
户选择的有价证券以及想要查询的基础数据和
预测类别; 从自有数据库中对应的数据库分别获
取基础数据和派生数据, 将派生数据输入预先生
成的函数模型, 得到与预测类别对应的预测数
据; 将有价证券的基础数据和与预测类别对应的
预测数据发送给客户端进行显示, 本发明能够即
时响应用户的查询请求, 提高查询效率。
权利要求书2页 说明书7页 附图1页
CN 114817422 A
2022.07.29
CN 114817422 A
1.一种股票交易数据处 理方法, 其特 征在于, 所述方法包括以下步骤:
步骤S100、 从第三方 数据库中获取有价证券 对应的原 始交易数据;
步骤S200、 基于所述原始交易数据生成基础数据和派生数据, 将所述基础数据和派生
数据对应存 储到自有数据库中的各个数据库;
步骤S300、 当接收到客户端发送的查询请求时, 根据所述查询请求确定用户选择的有
价证券以及想要查询的基础数据和预测类别;
步骤S400、 从自有数据库中对应的数据库分别获取基础数据和派生数据, 将所述派生
数据输入预 先生成的函数模型, 得到与所述预测类别对应的预测数据;
步骤S500、 将所述有价证券的基础数据和与所述预测类别 对应的预测数据发送给客户
端进行显示。
2.根据权利要求1所述的一种股票交易数据处理方法, 其特征在于, 所述步骤S200包
括:
步骤S201、 从各个交易所的第三方数据库中获取有价证券的原始交易数据; 其中, 所述
原始交易数据包括实时数据、 备份数据和离线历史数据;
步骤S202、 确定所述实时数据对应的数据类别, 将所述数据类别对应的标签转换为指
定标签, 将转换为指定标签的原 始交易数据作为该有价证券的第一交易数据;
步骤S203、 将不同有价证券的第一交易数据按交易时间顺序进行排序, 形成第一数据
队列;
步骤S204、 确定所述第一数据队列中各个原始交易数据的交易类别, 按所述交易类别
将所述第一数据队列进行分类, 得到多个第二数据队列;
步骤S205、 确定每个第二数据队列的交易类别 对应的数据类型; 其中, 所述数据类型包
括秒级数据、 分时数据、 K线数据和备份数据;
步骤S206、 将数据类型为秒级数据的第二数据队列作为第一基础数据存储到第一
HBASE数据库; 将数据类型为分时数据的第二数据队列作为第二基础数据存储到Druid数据
库; 将数据类型为K线数据的第二数据队列存储到MySQL数据库; 将数据类型为备份数据的
第二数据队列存 储到HDFS数据库, 将离线历史数据存 储到HIVE数据仓库中;
步骤S207、 对所述HIVE数据仓库中的离线历史数据进行数据清洗, 得到清洗后的离线
历史数据; 从清洗后的离线历史数据中提取得到K线数据, 将离线历史数据中提取得到的K
线数据发到MySQL数据库; 将所述离线历史数据中提取得到的K线数据和MySQL数据库中数
据类型为K线数据按时间轴顺序排列后作为第三基础数据存 储在MySQ L数据库中;
步骤S208、 对所述HDFS数据库中的备份数据进行数据清洗, 得到清洗后的备份数据, 将
清洗后的备份数据作为第四数据队列存 储在所述HDFS数据库中;
步骤S209、 将第四数据队列发到HIVE数据仓库, 将HIVE数据仓库 中清洗后的离线历史
数据和第四数据队列加载到Kylin引擎, 以通过Kylin引擎对清洗后的离线历史数据和第四
数据队列进行多维索引和数据聚合, 得到预处 理数据;
步骤S210、 采用预先设置的转换公式对所述预处理数据进行计算, 得到派生数据; 将派
生数据存 储在第二HBASE数据库中。
3.根据权利要求2所述的一种股票交易数据处理方法, 其特征在于, 步骤S207中, 所述
对所述HIVE数据仓库中的离线历史数据进行 数据清洗, 得到清洗后的离线历史数据, 包括:权 利 要 求 书 1/2 页
2
CN 114817422 A
2确定所述HIVE数据仓库中的离线历史数据是否在预设的数值范围内, 将不在预设的数
值范围内的离线历史数据剔除;
将HIVE数据仓库中剩余的离线历史数据的数据格式转换为设定的数据格 式, 得到清洗
后的离线历史数据。
4.根据权利要求2所述的一种股票交易数据处理方法, 其特征在于, 步骤S208中, 所述
对所述HDFS数据库中的备份数据进行 数据清洗, 得到清洗后的备份数据, 包括:
确定所述HDFS数据库中的备份数据是否在预设的数值范围内, 将不在预设的数值范围
内的备份数据剔除, 得到清洗后的备份数据。
5.根据权利要求 4所述的一种股票交易数据处 理方法, 其特 征在于, 所述方法还 包括:
若所述HDFS数据库中存在预设的数值范围以外的备份数据, 则触发服务器端向客户端
发送告警信息 。
6.根据权利要求1所述的一种股票交易数据处理方法, 其特征在于, 所述步骤S400包
括:
步骤S401、 确定所述有价证券 对应的证券代码;
步骤S402、 确定用户想要查询的基础数据, 若所述基础数据包括第一基础数据, 则根据
所述证券代码从第一HBASE数据库中匹配所述有价证券对应的第一基础数据; 若所述基础
数据包括第二基础数据, 则根据所述证券代码从Druid数据库中匹配所述有价证券对应的
第二基础数据; 若 所述基础数据包括第三基础数据, 则根据所述证券代码从M ySQL数据库中
匹配所述有价证券 对应的第三基础数据。
7.根据权利要求1所述的一种股票交易数据处理方法, 其特征在于, 所述步骤S400还包
括:
步骤S411、 确定所述有价证券 对应的证券代码;
步骤S412、 确定用户想要查询的派生数据, 根据所述证券代码从第二HBASE数据库中匹
配出与所述有价证券 对应的派生数据;
步骤S413、 根据所述预测类别从与所述有价证券 对应的派生数据中选取 出派生数据;
步骤S414、 从公式管理器中调用与所述预测类别对应的函数模型, 将选取出的派生数
据输入与所述预测类别对应的函数模型, 得到与所述预测类别对应的预测数据。
8.一种股票交易数据处 理装置, 其特 征在于, 所述装置包括:
至少一个处 理器;
至少一个存 储器, 用于存 储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行, 使得所述至少一个处理器实现如权
利要求1至7任一项所述的股票交易数据处 理方法。
9.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有股票交
易数据处理程序, 所述股票交易数据处理程序被处理器执行时实现如权利要求 1至7中任意
一项所述的股票交易数据处 理方法的步骤。权 利 要 求 书 2/2 页
3
CN 114817422 A
3
专利 一种股票交易数据处理方法、装置及计算机可读存储介质
文档预览
中文文档
11 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共11页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 00:12:13上传分享