说明:收录25万 73个行业的国家标准 支持批量下载
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210551366.2 (22)申请日 2022.05.18 (71)申请人 建信金融科技有限责任公司 地址 200120 上海市浦东 新区中国(上海) 自由贸易试验区银城路99号12层、 15 层 (72)发明人 邱耿峰 陈青山 崔庆文 郑晓华 许国良 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 王风茹 (51)Int.Cl. G06F 11/07(2006.01) G06F 16/2455(2019.01) (54)发明名称 一种流数据处 理方法、 装置及设备 (57)摘要 本发明实施例涉及数据处理技术领域, 公开 了一种流数据处理方法、 装置及设备, 方法包括 抓取实时流数据; 利用滚动时间窗口从所述实时 流数据中提取目标流数据; 基于滑动时间窗口判 断所述目标流数据中的顺序事件的事件发生序 列是否存在异常。 本申请通过同时使用滚动时间 窗口和滑动时间窗口对实时流数据中的目标流 数据中是否存在事件发生序列异常进行判断, 只 使用一种 时间窗口对流数据中特定事件的响应 情况进行检测所导致的检测结果准确率较低以 及时效性较差的技术问题, 实现了提高流数据中 特定事件的响应情况的检测准确率, 以及提升检 测时效性的技 术效果。 权利要求书2页 说明书8页 附图3页 CN 114968638 A 2022.08.30 CN 114968638 A 1.一种流数据处 理方法, 其特 征在于, 所述 流数据处 理方法包括: 抓取实时流数据; 利用滚动 时间窗口从所述实时流数据中提取目标流数据, 其中, 所述滚动 时间窗口为 相邻的两个时间窗口是连续且无重叠的时间窗口, 所述目标流数据为所述实时流数据中依 照事件发生序列所抓取的至少两个间隔时间最短的顺序事 件; 基于滑动时间窗口判断所述目标流数据中的顺序事件的事件发生序列 是否存在异常, 其中, 所述滑动时间窗口为相邻的两个时间窗口之间存在重叠的时间窗口, 所述滑动时间 窗口的窗口长度大于所述滑动时间窗口 的滑动长度。 2.根据权利要求1所述的流数据处理方法, 其特征在于, 所述利用滚动时间窗口从所述 实时流数据中提取目标流数据包括: 提取每一个所述滚动时间窗口中出现时间最大的第一事 件; 提取每一个所述滚动 时间窗口中距离所述第一事件发生时间最短的第二事件, 其中, 所述第一事 件先于所述第二事 件发生, 所述第一事 件和所述第二事 件为所述目标流数据。 3.根据权利要求2所述的流数据处 理方法, 其特 征在于, 所述 流数据处 理方法还 包括: 若在一个所述滚动时间窗口之内不存在所述第 二事件, 则确定所述第 二事件的发生出 现异常, 执 行预警提示动作。 4.根据权利要求2所述的流数据处理方法, 其特征在于, 所述基于滑动时间窗口判断所 述目标流数据中的顺序事 件的事件发生序列是否存在异常包括: 基于所述滑动时间窗口确定所述目标流数据的发生时间落入所述滑动 时间窗口的位 置, 得到位置信息; 基于所述 位置信息确定所述目标流数据中的顺序事 件的事件发生序列是否存在异常。 5.根据权利要求4所述的流数据处理方法, 其特征在于, 所述基于所述位置信 息确定所 述目标流数据中的顺序事 件的事件发生序列是否存在异常包括: 若所述第一事件落入第 一滑动时间窗口内, 所述第 二事件落入第 一滑动时间窗口与第 二滑动时间窗口的重叠位置处, 则计算所述第一事件与所述第二事件的第一间隔时长, 其 中, 所述第一滑动时间窗口先于所述第二滑动时间窗口; 将所述第一间隔时长与预设间隔时长进行对比, 确定所述第 一事件与 所述第二事件的 事件发生序列是否存在异常。 6.根据权利要求4所述的流数据处理方法, 其特征在于, 所述基于所述位置信 息确定所 述目标流数据中的顺序事 件的事件发生序列是否存在异常包括: 若所述第一事件落入第 一滑动时间窗口与第 二滑动时间窗口的重叠位置处, 所述第 二 事件落入第二滑动时间窗口内, 则计算所述第一事件与所述第二事件的第一间隔时长, 其 中, 所述第一滑动时间窗口先于所述第二滑动时间窗口; 将所述第一间隔时长与预设间隔时长进行对比, 确定所述第 一事件与 所述第二事件的 事件发生序列是否存在异常。 7.根据权利要求4所述的流数据处理方法, 其特征在于, 所述基于所述位置信 息确定所 述目标流数据中的顺序事 件的事件发生序列是否存在异常包括: 若所述第一事件落入第 一滑动时间窗口与第 二滑动时间窗口的重叠位置处, 所述第 二 事件未落入第二滑动时间窗口内, 则确定所述第一事件与所述第二事件的事件发生序列存权 利 要 求 书 1/2 页 2 CN 114968638 A 2在异常, 其中, 所述第一滑动时间窗口先于所述第二滑动时间窗口。 8.根据权利要求1所述的流数据处 理方法, 其特 征在于, 所述 流数据处 理方法还 包括: 若判断出所述目标流数据中的顺序时间的事件发生序列 是否存在异常, 则执行预警提 示动作。 9.一种流数据处理系统, 其特征在于, 所述流数据处理系统基于结构化查询语言数据 库执行相应的动作, 所述 流数据处 理系统包括: 流数据抓取 单元, 用于抓取实时流数据; 流数据提取单元, 用于利用滚动时间窗口从所述实时流数据中提取目标流数据, 其中, 所述滚动时间窗口为相邻的两个时间窗口是连续且无重叠的时间窗口, 所述目标流数据为 所述实时流数据中依照事 件发生序列所抓取的至少两个间隔时间最短的顺序事 件; 流数据异常判断单元, 用于基于滑动时间窗口判断所述目标流数据中的顺序事件的事 件发生序列是否存在异常, 其中, 所述滑动时间窗口为相邻的两个时间窗口之间存在重叠 的时间窗口, 所述滑动时间窗口 的窗口长度大于所述滑动时间窗口 的滑动长度。 10.一种流数据处 理设备, 其特 征在于, 所述 流数据处 理设备包括: 一个或多个处 理器; 存储装置, 用于存 储一个或多个程序; 当所述一个或多个程序被所述一个或多个处理器执行, 使得所述一个或多个处理器实 现如权利要求1 ‑8任一所述的流数据处 理方法。 11.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 该程序被处理器 执行时实现如权利要求1 ‑8任一所述的流数据处 理方法。 12.一种计算机程序产品, 包括计算机程序, 所述计算机程序在被处理器执行时实现根 据权利要求1 ‑8中任一项所述的流数据处 理方法。权 利 要 求 书 2/2 页 3 CN 114968638 A 3
专利 一种流数据处理方法、装置及设备
文档预览
中文文档
14 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 00:11:45
上传分享
举报
下载
原文档
(576.4 KB)
分享
友情链接
DB42-T 2226.4-2024 自然资源政务一张图应用规范 第4部分:运行服务 湖北省.pdf
GW0014-2017 国家电子政务工程项目 应用软件第三方测试规范.pdf
众城智库 信创产业发展报告 2021.pdf
CSA 安全数据湖的敏捷数据原则.pdf
医院信息化整体解决方案.pdf
T-CI 146—2022 智慧教室 基于云网边端协同的 教学评价体系技术指南.pdf
GB-T 31034-2014 晶体硅太阳电池组件用绝缘背板.pdf
GB-T 26006-2010 船用铝合金挤压管、棒、型材.pdf
GB-T 38309-2019 火灾烟气流毒性组分测试 FTIR分析火灾烟气中气体组分的指南.pdf
DL-T 1074-2019 电力用直流和交流一体化不间断电源.pdf
GB-T 18772-2017 生活垃圾卫生填埋场环境监测技术要求.pdf
奇安信 2020年中国企业邮箱安全性研究报告.pdf
法律法规 杭州市民用建筑节能条例2014-12-31.pdf
GM T 0127-2023 移动终端密码模块应用接口规范.pdf
T-GDC 19—2019 埋地用双高筋增强聚乙烯 HDPE 缠绕管.pdf
GB-T 31091-2014 煤场管理通用技术要求.pdf
GB-T 42582-2023 信息安全技术 移动互联网应用程序(App)个人信息安全测评规范.pdf
DB32-T 4448-2023 信息系统运行维护体系建设指南 江苏省.pdf
GB-T 7896-2008 人造光学石英晶体试验方法.pdf
GB-T 43697-2024 数据安全技术 数据分类分级规则.pdf
1
/
3
14
评价文档
赞助2.5元 点击下载(576.4 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。