(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210380674.3
(22)申请日 2022.04.12
(71)申请人 京东科技信息技 术有限公司
地址 100176 北京市北京经济技 术开发区
科创十一 街18号院2号楼6层6 01
(72)发明人 阎刚 谭龙 刘丹
(74)专利代理 机构 中原信达知识产权代理有限
责任公司 1 1219
专利代理师 杨倩 赵迪
(51)Int.Cl.
G06F 9/50(2006.01)
G06F 9/52(2006.01)
H04L 9/32(2006.01)
(54)发明名称
一种消息处 理方法、 装置及系统
(57)摘要
本发明公开了一种消息处理方法、 装置及系
统, 涉及计算机技术领域。 该方法的一具体实施
方式包括: 响应于消息处理请求, 从令牌队列中
提取目标令牌, 所述目标令牌的目标标识与存储
有待处理消息的存储分片的标识相对应; 所述令
牌队列中包括数据集群中的协调节点已生成的
多个令牌; 根据所述目标令牌的目标标识, 从所
述目标令牌对应的目标存储分片中提取目标消
息, 并对所述目标消息进行处理。 该实施方式避
免了使用分布式锁来进行消息的处理, 提高了集
群资源的利用率, 从而提高了消息的处 理效率。
权利要求书3页 说明书19页 附图5页
CN 114741195 A
2022.07.12
CN 114741195 A
1.一种消息处 理方法, 其特 征在于, 应用于数据集群中的执 行节点, 包括:
响应于消息处理请求, 从令牌队列中提取目标令牌, 所述目标令牌的目标标识与存储
有待处理消息的存储分片的标识相对应; 所述令牌队列中包括数据集群中的协调节点已生
成的多个令牌;
根据所述目标令牌的目标标识, 从所述目标令牌对应的目标存储分片中提取目标消
息, 并对所述目标消息进行处 理。
2.根据权利要求1所述的方法, 其特 征在于, 还 包括:
获取至少两个待处 理消息;
根据所述待处理消息的消息标识, 将至少两个所述待处理消息存储至数据集群的至少
两个存储分片中。
3.根据权利要求1所述的方法, 其特 征在于,
在处理完当前的所述目标消息之后, 还 包括: 从所述令牌队列中提取目标令牌;
和/或,
还包括: 在当前时间满足执 行周期的情况 下, 从所述令牌队列中提取目标令牌。
4.根据权利要求2所述的方法, 其特 征在于,
所述至少两个存储分片的数量是根据所述数据集群的节点数量以及节点的处理性能
所确定的, 且所述至少两个存 储分片的数量大于所述数据集群的节点数量。
5.根据权利要求2所述的方法, 其特征在于, 所述待处理消息指示了待处理时间; 至少
两个所述待处理消息在所述存储分片中是按 所述待处理 时间的先后顺序排序; 所述从所述
目标令牌对应的目标存 储分片中提取目标消息, 包括:
根据所述目标存储分片上所存储的至少两个所述待处理消息的先后 顺序, 从所述目标
存储分片 中提取所述 目标消息; 其中, 所述 目标消息的待处理时间与所述当前时间的差值
小于或等于预设时间阈值。
6.根据权利要求2所述的方法, 其特征在于, 所述根据所述待处理消息的消息标识, 将
至少两个所述待处 理消息存 储至数据集群的至少两个存 储分片中, 包括:
对所述待处理消息的消息标识进行哈希运算, 根据 所述哈希运算结果对所述存储分片
的数量进行 取模运算;
根据所述取模运 算结果确定所述待处 理消息待存 储的所述存 储分片;
将所述待处 理消息存 储至确定出的所述存 储分片中。
7.一种消息处 理方法, 其特 征在于, 应用于数据集群, 包括:
利用一个或多个协调节点生成令牌并存储至令牌队列中; 所述令牌的标识与存储有待
处理消息的存 储分片的标识相对应;
利用至少两个执 行节点从所述令牌队列中提取目标令牌;
针对提取到目标令牌的所述执行节点: 根据所述目标令牌的目标标识, 从所述目标令
牌对应的目标存 储分片中提取目标消息, 并对所述目标消息进行处 理。
8.根据权利要求7 所述的方法, 其特 征在于, 还 包括:
获取至少两个待处 理消息;
根据所述待处理消息的消息标识, 将至少两个所述待处理消息存储至数据集群的至少
两个存储分片中。权 利 要 求 书 1/3 页
2
CN 114741195 A
29.根据权利要求7 所述的方法, 其特 征在于,
针对每一个所述执行节点: 在处理完当前的所述目标消息之后, 还包括: 从所述令牌队
列中提取目标令牌;
和/或,
还包括: 针对每一个所述执行节点: 在 当前时间满足执行周期的情况下, 从所述令牌队
列中提取目标令牌。
10.根据权利要求8所述的方法, 其特 征在于,
所述至少两个存储分片的数量是根据所述数据集群的节点数量以及节点的处理性能
所确定的, 且所述至少两个存 储分片的数量大于所述数据集群的节点数量。
11.根据权利要求8所述的方法, 其特征在于, 所述待处理消息指示了待处理时间; 至少
两个所述待处 理消息在所述存 储分片中是按所述待处 理时间的先后顺序排序;
所述从所述目标令牌对应的目标存 储分片中提取目标消息, 包括:
利用所述执行节点根据所述目标存储分片上所存储的至少两个所述待处理消息的先
后顺序, 从所述目标存储分片中提取所述目标消息; 其中, 所述目标消息的待处理 时间与所
述当前时间的差值小于或等于预设时间阈值。
12.根据权利要求7所述的方法, 其特征在于, 所述利用一个或多个协调节点生成令牌,
包括:
根据所述令牌队列中的当前令牌数量、 令牌控制策略以及所述存储分片的数量, 确定
待生成的令牌数量;
利用一个或多个协调节点 根据所述待生成的令牌数量 生成所述令牌。
13.根据权利要求12所述的方法, 其特征在于, 所述令牌控制策略包括第一预设阈值
和/或第二预设阈值, 且所述第一预设阈值小于所述第二预设阈值; 所述根据所述令牌队列
中的当前令牌数量、 令牌控制策略以及所述存储分片的数量, 确定待生成的令牌数量, 包
括:
在所述当前令牌数量小于所述第一预设阈值情况下: 确定待生成令牌的基础数量; 根
据所述当前令牌数量、 所述第一预设阈值以及所述存储分片的数量, 确定待生成令牌的数
量倍数; 根据所述基础数量和所述数量 倍数, 确定待生成的令牌数量;
和/或,
在所述当前令牌数量大于或等于所述第 二预设阈值情况下, 确定待生成的令牌数量为
零。
14.根据权利要求12所述的方法, 其特征在于, 所述利用一个或多个协调节点生成令
牌, 还包括:
从所述数据集群中确定多个节点作为所述协调节点, 并为所述协调节点配置生成令牌
的线程;
从所述多个协调节点中确定目标节点, 并利用所述目标节点上的所述线程生成所述令
牌。
15.根据权利要求14所述的方法, 其特 征在于, 还 包括:
在所述目标节点生成令牌失败的情况下, 从除所述目标节点以外的其他协调节点中重
新确定目标节点, 并利用所述重新确定的目标节点上的所述线程 生成所述令牌。权 利 要 求 书 2/3 页
3
CN 114741195 A
3
专利 一种消息处理方法、装置及系统
文档预览
中文文档
28 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共28页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 07:13:03上传分享