(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210559281.9
(22)申请日 2022.05.18
(71)申请人 北京百度网讯科技有限公司
地址 100085 北京市海淀区上地十街10号
百度大厦2层
(72)发明人 汪彬 吴志华 王冠群 赵彩贝
姚雪峰 吴鑫烜
(74)专利代理 机构 中科专利商标代理有限责任
公司 11021
专利代理师 杨静
(51)Int.Cl.
G06F 9/48(2006.01)
G06F 9/50(2006.01)
G06N 20/00(2019.01)
(54)发明名称
任务处理方法、 装置、 系统、 电子 设备以及存
储介质
(57)摘要
本公开提供了一种任务处理方法、 装置、 系
统、 电子设备 以及存储介质, 涉及人工智能技术
领域, 尤其涉及云计算、 深度学习和计算机视觉
技术领域。 具体实现方案为: 响应于接收到任务
处理请求, 获取多个计算节点的可用资源信息和
人工智能任务的任务信息, 其中, 任务信息包括
人工智能模型和样本数据; 根据任务信息, 得到
多个子任务的子任务信息; 根据可用资源信息和
多个子任务各自的资源需求信息, 从多个计算节
点中确定用于处理多个子任务各自的目标计算
节点; 向多个子任务各自的目标计算节点发送子
任务的子任务信息, 以便目标计算节 点基于子任
务信息处 理子任务。
权利要求书7页 说明书19页 附图7页
CN 114840323 A
2022.08.02
CN 114840323 A
1.一种任务处 理方法, 包括:
响应于接收到任务处理请求, 获取多个计算节点的可用资源信 息和人工智能任务的任
务信息, 其中, 所述任务信息包括人工智能模型和样本数据;
根据所述任务信息, 得到多个子任务的子任务信息;
根据所述可用资源信 息和所述多个子任务各自的资源需求信 息, 从所述多个计算节点
中确定用于处 理所述多个子任务各自的目标计算节点; 以及
向所述多个子任务各自的目标计算节点发送所述子任务的子任务信 息, 以便所述目标
计算节点基于所述子任务信息处 理所述子任务。
2.根据权利要求1所述的方法, 其中, 所述根据所述可用资源信 息和所述多个子任务各
自的资源需求信息, 从所述多个计算节点中确定用于处理所述多个子任务各自的目标计算
节点, 包括:
基于任务分配策略, 根据所述可用资源信息和所述多个子任务各自的资源需求信息,
从所述多个计算节点中确定用于处理所述多个子任务各自的目标计算节点, 其中, 所述任
务分配策略是根据节点使用度和节点处 理效率中的至少之一确定的。
3.根据权利要求1或2所述的方法, 其中, 所述根据 所述任务信 息, 得到多个子任务的子
任务信息, 包括:
对所述人工智能模型进行划分, 得到多个模型 结构; 以及
根据所述多个模型 结构和所述样本数据, 得到所述多个子任务各自的子任务信息 。
4.根据权利要求1~3中任一项所述的方法, 其中, 所述向所述多个子任务各自的目标
计算节点发送所述子任务的子任务信息, 包括:
向启动例程发送所述多个子任务各自的目标计算节点的节点标识, 以便所述启动例程
根据所述多个子任务各自的目标计算节点的节点标识, 启动所述多个子任务各自的目标计
算节点;
响应于接收到来自所述多个子任务各自的目标计算节点的注册请求, 与所述多个子任
务各自的目标计算节点建立 通信连接; 以及
向建立通信连接的子任务的目标计算节点发送所述子任务的子任务信息 。
5.根据权利要求1~3中任一项所述的方法, 还 包括:
根据与所述目标计算节点对应的子任务的子任务信 息, 确定所述目标计算节点中用于
处理所述子任务的至少一个线程;
其中, 所述向所述多个子任务各自的目标计算节点发送所述子任务的子任务信息, 以
便所述目标计算节点基于所述子任务信息处 理所述子任务, 包括:
向所述多个子任务各自的目标计算节点发送所述子任务的子任务信息和所述至少一
个线程的线程标识, 以便所述 目标计算节点根据所述至少一个线程的线程标识, 调用与所
述线程标识对应的线程, 基于所述子任务信息, 利用所述至少一个线程处 理所述子任务。
6.根据权利要求1~3中任一项所述的方法, 其中, 所述向所述多个子任务各自的目标
计算节点 发送所述子任务的子任务信息, 以便所述目标计算节点基于所述子任务信息处理
所述子任务, 包括:
向所述多个子任务各自的目标计算节点发送子任务的子任务信 息, 以便所述目标计算
节点根据所述子任务信息, 确定用于处理所述子任务的至少一个线程, 调用所述至少一个权 利 要 求 书 1/7 页
2
CN 114840323 A
2线程, 基于所述子任务信息, 利用所述至少一个线程处 理所述子任务。
7.根据权利要求1~6中任一项所述的方法, 还 包括:
根据多个所述目标计算节点的运行状态信 息, 更新多个所述目标计算节点的可用资源
信息, 得到更新后的多个计算节点的可用资源信息, 其中, 所述运行状态信息包括以下至少
之一: 节点状态信息和数据等待时长信息;
根据所述多个子任务的任务处理信息, 更新所述多个子任务的资源需求信息, 得到更
新后的多个子任务的资源需求信息;
在根据所述目标计算节点的运行状态信息和与所述目标计算节点对应的子任务的任
务处理信息中的至少之一确定满足预定任务重 分配条件的情况下, 根据所述更新后的多个
计算节点的可用资源信息和所述更新后的多个子任务的资源需求信息, 重新确定用于处理
所述子任务的目标计算节点, 得到用于处 理所述子任务的新的目标计算节点; 以及
向所述新的目标计算节点发送所述目标计算节点的子任务相关信 息, 以便所述新的目
标计算节点基于所述子任务相关信息处理所述子任务, 其中, 所述子任务相关信息是根据
所述目标计算节点的子任务信息和所述任务处 理信息确定的。
8.根据权利要求1~7中任一项所述的方法, 还 包括:
创建所述多个子任务和用于所述多个子任务各自的目标计算节点之间的关联关系, 得
到多个关联关系; 以及
将所述多个关联关系存 储至任务处 理表。
9.根据权利要求8所述的方法, 还 包括:
根据所述多个关联关系, 将多个所述目标计算节点的运行状态信 息和所述多个子任务
的任务处 理信息存 储至所述任务处 理表。
10.根据权利要求1~ 9中任一项所述的方法, 还 包括:
响应于接收到来自所述多个目标计算节点的任务处理结果, 根据 所述多个目标计算节
点的任务处 理结果, 确定目标任务处 理结果。
11.一种任务处 理方法, 包括:
目标计算节点响应于接收到来自控制节点的子任务的子任务信 息, 基于所述子任务信
息处理所述子任务;
其中, 所述目标计算节点是所述控制节点根据多个计算节点的可用资源信 息和多个所
述子任务各自的资源需求信息从所述多个计算节点中确定的, 所述子任务信息是根据人工
智能任务的任务信息得到的, 所述多个节点的可用资源信息和所述人工智能任务的任务信
息是所述控制节点响应于接收到任务处理请求获取的, 所述任务信息包括人工智能模型和
样本数据。
12.根据权利要求1 1所述的方法, 还 包括:
响应于检测到启动完毕操作, 向所述控制节点发送注册请求, 以便所述控制节点响应
于接收到所述目标节点的注 册请求, 与所述目标节点建立 通信连接;
其中, 所述启动完毕操作 是启动例程根据 所述目标节点的节点标识启动所述目标节点
之后生成的, 所述目标节点的节点标识是所述启动例程接收到来自所述控制节点的节点标
识。
13.根据权利要求11或12所述的方法, 其中, 所述目标计算节点响应于接收到来自控制权 利 要 求 书 2/7 页
3
CN 114840323 A
3
专利 任务处理方法、装置、系统、电子设备以及存储介质
文档预览
中文文档
34 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共34页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 07:14:36上传分享