(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210357812.6 (22)申请日 2022.04.06 (71)申请人 深圳鲲云信息科技有限公司 地址 518048 广东省深圳市福田区福保街 道福保社区市花路南侧长富金茂 大厦 1号楼1408 (72)发明人 伍永情　蔡权雄　牛昕宇　 (74)专利代理 机构 深圳智汇远见知识产权代理 有限公司 4 4481 专利代理师 黄巍 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06N 5/04(2006.01) (54)发明名称 人工智能模型的算子调度方法、 装置、 设备 及存储介质 (57)摘要 本申请涉及一种人工智能模型的算子调度 方法、 装置、 设备及存储介质。 所述方法包括： 获 取模型对应的每个目标算子的参考运行时长， 基 于多个算子队列中的算子数量 以及算子的预期 等待时长， 计算每个算子队列的预期排队时间， 基于参考运行时长及每个算子队列的预期排 队 时间， 将每个目标算子分别添加至预期排队时间 最短的算子队列。 本申请可以可以最大限度的均 衡各个算子队列中的算子， 从而最大限度的均衡 各个推理引擎上的推理负载， 让各个APP对应的 模型推理延 迟趋于均衡， 有效地避免了按照算子 队列中的算子数量进行调度导致的推理延迟扩 散问题， 减少了每个目标算子的等待时间， 提高 了整个系统的AI推理效率。 权利要求书2页 说明书8页 附图2页 CN 114741172 A 2022.07.12 CN 114741172 A 1.一种人工智能模型的算子调度方法， 其特 征在于， 所述方法包括： 获取模型对应的每 个目标算子的参 考运行时长； 基于预先构建的多个算子队列中的算子数量及算子的预期等待时长， 计算每个算子队 列的预期排队时间； 基于所述参考运行时长及每个算子队列的预期排队时间， 将每个目标算子分别添加至 预期排队时间最短的算子队列。 2.如权利要求1所述的人工智能模型的算子调度方法， 其特征在于， 所述获取模型对应 的每个目标算子的参 考运行时长， 包括： 获取所述模型在预设运行环境中的运行数据， 从所述运行数据中读取所述模型对应的 目标算子的运行时间作为目标算子的参 考运行时长 。 3.如权利要求1所述的人工智能模型的算子调度方法， 其特征在于， 所述基于预先构建 的多个算子 队列中的算子数量及算子的预期排队时长， 计算每个算子 队列的预期排队时 间， 包括： 为每个算子队列赋予初始等待时间值， 将算子队列中每个算子的预期等待时长与算子 队列的初始等待时间值相加， 得到算子队列的预期排队时间。 4.如权利要求1所述的人工智能模型的算子调度方法， 其特征在于， 所述基于所述参考 运行时长及每个算子队列的预期排队时间， 将每个目标算子分别添加至预期排队时间最短 的算子队列， 包括： 基于每个算子队列的预期排队时间， 对每 个算子队列执 行排序操作得到排序结果； 从所述排序结果中选取 预期排队时间最短的算子队列； 添加一个目标算子 至预期排队时间最短的算子队列。 5.如权利要求4所述的人工智能模型的算子调度方法， 其特征在于， 在将任意一个目标 算子添加至预期排队时间最短的算子队列之后， 所述方法还 包括： 根据添加的目标算子的参考运行时长及每个算子队列中等待算子的执行情况， 更新所 有算子队列的预期排队时间； 从更新预期排队时间后的算子队列中选取 出预期排队时间最短的算子队列； 添加一个目标算子至预期排队时间最短的算子队列， 重复上述步骤直至将所有目标算 子添加至算子队列。 6.如权利要求5所述的人工智能模型的算子调度方法， 其特征在于， 所述根据 添加的目 标算子的参考运行时长及每个算子队列中等待算子的执行情况， 更新所有算子队列的预期 排队时间， 包括： 若算子队列中添加了目标算子， 将目标算子的参考运行时长加上该算子队列 未添加目 标算子时的预期排队时间， 作为该算子队列更新后的预期排队时间。 7.如权利要求5所述的人工智能模型的算子调度方法， 其特征在于， 所述根据 添加的目 标算子的参考运行时长及每个算子队列中等待算子的执行情况， 更新所有算子队列的预期 排队时间， 包括： 若算子队列中有等待算子被执行， 将该算子队列中未执行等待算子时的预期排队时间 减去被执 行的等待算子的运行时间， 作为该算子队列更新后的预期排队时间。 8.一种人工智能模型的算子调度装置， 其特 征在于， 所述装置包括：权　利　要　求　书 1/2 页 2 CN 114741172 A 2获取模块： 用于获取模型对应的每 个目标算子的参 考运行时长； 计算模块： 用于基于预先构建的多个算子队列中的算子数量及算子的预期排队时长， 计算每个算子队列的预期排队时间； 调度模块： 用于基于所述参考运行时长及每个算子队列的预期排队时间， 将每个目标 算子分别添加至预期排队时间最短的算子队列。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执行存储器上所存放的程序时， 实现权利要求1至7中任一项所述的人工 智能模型的算子调度方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1至7中任一项所述人工智能模型的算子调度方法的步骤。权　利　要　求　书 2/2 页 3 CN 114741172 A 3