(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210539970.3 (22)申请日 2022.05.17 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 邵帅　吴小龙　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 申健 (51)Int.Cl. G06F 16/27(2019.01) G06F 16/25(2019.01) G06F 9/50(2006.01) (54)发明名称 分布式数据处理方法、 装置、 电子设备及存 储介质 (57)摘要 本公开关于一种分布式数据处理方法、 装 置、 电子设备及存储介质， 涉及数据处理技术领 域。 该方法中， 驱动节点获取多个待处理数据， 将 多个待处理数据分发给多个处理节 点， 以使得各 处理节点对分发到的待处理数据进行迭代处理， 得到包含每轮次迭代处理结果的第一处理结果， 可以实现更高的数据处理效率。 当各处理节点上 的剩余待处理数据的数量满足预设条件时， 驱动 节点获取各处理节点上的剩余待处理数据， 由其 对各个剩余待处理数据进行一次性并行处理， 得 到第二处理结果， 可 以节省数据处理资源， 并实 现更高的数据处理效率。 最后根据各处理节点得 到的第一处理结果和第二处理结果， 得到针对多 个待处理数据的目标处 理结果。 权利要求书2页 说明书12页 附图3页 CN 114896342 A 2022.08.12 CN 114896342 A 1.一种分布式数据处理方法， 其特征在于， 应用于分布式数据处理系统中的驱动节点， 所述分布式数据处 理系统还 包括多个处 理节点， 所述方法包括： 获取多个待处 理数据； 将所述多个待处理数据分发给多个所述处理节点， 以使得各所述处理节点对分发到的 所述待处 理数据进行迭代处 理， 得到包 含每轮次迭代处 理结果的第一处 理结果； 当各所述处理节点上的剩余待处理数据的数量满足预设条件时， 获取各所述处理节点 上的所述剩余待处 理数据； 对各个所述剩余待处 理数据进行并行处 理， 得到第二处 理结果； 根据各所述处理节点得到的所述第 一处理结果和所述第 二处理结果， 得到针对所述多 个待处理数据的目标处 理结果。 2.根据权利要求1所述的分布式数据处理方法， 其特征在于， 所述预设条件为各所述处 理节点上的剩余待处 理数据的数量的总和小于预设阈值。 3.根据权利要求1所述的分布式数据处理方法， 其特征在于， 所述预设条件为各所述处 理节点上的剩余待处 理数据的数量均小于预设阈值。 4.根据权利要求2或3所述的分布式数据处理方法， 其特征在于， 所述预设阈值根据所 述驱动节点预设的内存容量和各所述处理节点预设的剩余数据数量确定， 其中， 各所述处 理节点预设的剩余数据数量， 是指所述处理节点执行的历史迭代处理过程进 行到目标轮次 后收敛速度小于预设收敛速度时的剩余待处 理数据数量。 5.根据权利要求1所述的分布式数据处理方法， 其特征在于， 所述当各所述处理节点上 的剩余待处理数据 的数量满足预设条件时， 获取各所述处理节点上的所述剩余待处理数 据， 包括： 当各所述处理节点上的剩余待处理数据的数量满足预设条件时， 根据 各所述处理节点 上的剩余待处 理数据的数量， 确定并行处 理所述剩余待处 理数据所需的第一内存容 量； 在所述第一内存容量小于第 二内存容量的情况下， 获取各所述处理节点上的所述剩余 待处理数据， 所述第二内存容 量为所述驱动节点的当前内存空 闲容量。 6.根据权利要求5所述的分布式数据处理方法， 其特征在于， 所述分布式数据处理系统 还包括配置节点； 所述当各所述处理节点上 的剩余待处理数据的数量满足预设条件时， 获 取各所述处理节点上的所述剩余待处 理数据， 还 包括： 在所述第一内存容量大于或者等于所述第 二内存容量的情况下， 向所述配置节点发送 内存调节请求， 以请求所述配置节点调节所述第二内存容量， 以使得所述第一内存容量小 于所述第二内存容 量； 当所述配置节点对所述第 二内存容量调节完成时， 获取各所述处理节点上的所述剩余 待处理数据。 7.一种分布式数据处理装置， 其特征在于， 应用于分布式数据处理系统中的驱动节点， 所述分布式数据处 理系统还 包括多个处 理节点； 所述装置包括： 第一数据获取 单元， 被配置为执 行获取多个待处 理数据； 数据分发单元， 被配置为执行将所述多个待处理数据分发给多个所述处理节点， 以使 得各所述处理节点对分发到的所述待处理数据进 行迭代处理， 得到包含每轮次迭代处理结 果的第一处 理结果；权　利　要　求　书 1/2 页 2 CN 114896342 A 2第二数据获取单元， 被配置为执行当各所述处理节点上的剩余待处理数据的数量满足 预设条件时， 获取 各所述处理节点上的所述剩余待处 理数据； 数据处理单元， 被配置为执行对各个所述剩余待处理数据进行并行处理， 得到第二处 理结果； 结果确定单元， 被配置为执行根据 各所述处理节点得到的所述第 一处理结果和所述第 二处理结果， 得到针对所述多个待处 理数据的目标处 理结果。 8.一种电子设备， 其特 征在于， 包括： 处理器； 用于存 储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1 ‑6中任一项所述的分布 式数据处 理方法。 9.一种计算机可读存储介质， 其特征在于， 当所述计算机可读存储介质中的指令由电 子设备的处理器执行时， 使得电子设备能够执行如权利要求1 ‑6中任一项所述的分布式数 据处理方法。 10.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机指令， 当所述 计算机指令在电子设备上运行时， 使得所述电子设备执行如权利要求1 ‑6中任一项所述的 分布式数据处 理方法。权　利　要　求　书 2/2 页 3 CN 114896342 A 3