说明:收录25万 73个行业的国家标准 支持批量下载
文库搜索
切换导航
文件分类
频道
仅15元无限下载
联系我们
问题反馈
文件分类
仅15元无限下载
联系我们
问题反馈
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210631618.2 (22)申请日 2022.06.06 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 方勇 王安定 朱志宇 牛通 马换新 张媛媛 方莲娣 王玉婷 段晓珊 黄俊祥 李洋 张盼盼 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 杨傥月 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01)G06F 16/242(2019.01) (54)发明名称 一种数据同步方法及其相关 设备 (57)摘要 本申请公开了一种数据 同步方法及其相关 设备, 该方法包括: 在获取到源端(例如, Kafka集 群等)实时发送的当前流数据片段之后, 按照所 述当前流数据片段的数据类型描述信息(例如, Topic消息等), 从预先生成的至少一个候选数据 同步规则中确定出待使用数据同步规则, 以使该 待使用数据同步规则能够描述出具有该数据类 型描述信息的源端数据如何转换成目标端数据; 再按照所述待使用数据同步规则, 对 所述当前流 数据片段进行数据映射处理, 得到待使用数据; 最后, 将所述待使用数据存储至目标端(例如, Data Sink等), 如此能够实现将源端的流式数据 的实时同步至目标端的目的, 从而能够实现针对 流式数据的实时同步处 理。 权利要求书2页 说明书10页 附图5页 CN 114996355 A 2022.09.02 CN 114996355 A 1.一种数据同步方法, 其特 征在于, 所述方法包括: 在获取到源端发送的当前流数据片段之后, 按照所述当前流数据片段的数据类型描述 信息, 从预 先生成的至少一个候选数据同步 规则中确定出待 使用数据同步 规则; 按照所述待使用数据同步规则, 对所述当前流数据片段进行数据映射处理, 得到待使 用数据; 将所述待 使用数据存 储至目标端。 2.根据权利要求1所述的方法, 其特征在于, 所述候选数据同步规则的个数为N; 其中, 第n个候选数据同步规则用于描述第n种源端数据类型与第n种目标端 数据类型之间的数据 映射处理; 其中, n 为正整数, n≤N, N 为正整数。 3.根据权利要求2所述的方法, 其特 征在于, 所述方法还 包括: 响应于用户在同步规则配置页面上触发的操作, 生成待使用配置文件; 其中, 所述待使 用配置文件包括所述源端的数据配置信息和所述目标端的数据配置信息; 所述源端的数据 配置信息包括所述第n种源端数据类型 的数据类型描述信息; 所述 目标端的数据配置信息 包括所述第n种目标端数据类型的数据类型描述信息; 解析所述待使用配置文件, 得到所述第n个候选数据同步 规则。 4.根据权利要求3所述的方法, 其特征在于, 所述操作包括源端信息配置操作、 目标端 信息配置操作、 映射关系配置操作、 和异常容 错配置操作中的至少一个。 5.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 在确定所述当前流数据片段满足预设异常条件时, 按照所述预设异常条件对应的异常 校正规则, 对所述当前流数据片段进行 校正处理, 得到校正后数据; 所述按照所述待使用数据同步规则, 对所述当前流数据片段进行数据映射处理, 得到 待使用数据, 包括: 按照所述待使用数据同步规则, 对所述校正后数据进行数据映射处理, 得到待使用数 据。 6.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 在确定所述当前流数据片段不满足所述数据类型描述信 息对应的数据正常条件时, 更 新所述数据类型描述信息对应的异常计数值; 在确定所述异常数据计数值超过所述数据类型描述信 息对应的异常个数阈值 时, 生成 并发送第一告警信息 。 7.一种数据同步装置, 其特 征在于, 包括: 规则确定单元, 用于在获取到源端发送的当前流数据片段之后, 按照所述当前流数据 片段的数据类型描述信息, 从预先生成的至少一个候选数据同步规则中确定出待使用数据 同步规则; 数据映射单元, 用于按照所述待使用数据同步规则, 对所述当前流数据片段进行数据 映射处理, 得到待 使用数据; 数据同步单 元, 用于将所述待 使用数据存 储至目标端。 8.根据权利要求7 所述的方法, 其特 征在于, 所述装置还 包括: 心跳发送单元, 用于在确定所述数据同步装置处于正常运行状态时, 向注册中心发送 心跳数据, 以使在所述注册中心接 收到所述心跳数据之后, 确定所述所述数据同步装置处权 利 要 求 书 1/2 页 2 CN 114996355 A 2于正常运行状态。 9.根据权利要求8所述的方法, 其特征在于, 所述注册中心, 用于在确定预设时间段内 未接收到所述数据同步装置发送的心跳数据之后, 确定所述数据同步装置处于宕机状态, 生成并发送第二告警信息 。 10.一种设备, 其特 征在于, 所述设备包括处 理器以及存 储器: 所述存储器用于存 储计算机程序; 所述处理器用于根据所述计算机程序执 行权利要求1 ‑6中任一项所述的方法。 11.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质用于存储计算机 程序, 所述计算机程序用于执 行权利要求1 ‑6中任一项所述的方法。权 利 要 求 书 2/2 页 3 CN 114996355 A 3
专利 一种数据同步方法及其相关设备
文档预览
中文文档
18 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 人生无常 于
2024-03-18 00:11:01
上传分享
举报
下载
原文档
(784.0 KB)
分享
友情链接
GB-T 35291-2017 信息安全技术 智能密码钥匙应用接口规范.pdf
GB-T 35391-2017 无损检测 工业计算机层析成像(CT)检测用空间分辨力测试卡.pdf
华为 工业互联网白皮书 工业知识与ICT技术深入融合 2020.pdf
GB-T 43417-2023 儿童青少年脊柱侧弯矫形器的配置.pdf
T-CACM 001—2018 古本易筋经十二势导引法技术规范.pdf
T-FSI 090—2022 低挥发性甲基环硅氧烷的107胶.pdf
GB-T 42136-2022 智能制造 远程运维系统通用要求.pdf
GB-T 7946-2015 脉冲电子围栏及其安装和安全运行.pdf
GB-T 24162-2022 汽车用压缩天然气金属内胆纤维环缠绕气瓶定期检验与评定.pdf
DB43-T 1835-2020 智能轨道快运系统设计规范 湖南省.pdf
GB-T 17694-2009 地理信息 术语.pdf
等保三级-安全技术-数据安全.doc
火绒安全 2021终端安全情报年鉴.pdf
WDTA AI-STR-02-LLM security Large Language Model Security.pdf
T-CPUMT 006—2022 工业数据安全事件应急预案编制指南.pdf
DB42-T 1854-2022 咸鸭蛋加工技术规程 湖北省.pdf
DB4405-T 197—2019 近江牡蛎养殖技术操作规程 汕头市.pdf
GB-T 3078-2019 优质结构钢冷拉钢材.pdf
GB-T 13591-2009 溶解乙炔气瓶充装规定.pdf
GB-T 28858-2012 电子元器件用酚醛包封料.pdf
1
/
3
18
评价文档
赞助2.5元 点击下载(784.0 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
官方客服微信:siduwenku
支付 完成后 如未跳转 点击这里 下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。