(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210455191.5 (22)申请日 2022.04.27 (71)申请人 佛山智优人 科技有限公司 地址 528311 广东省佛山市顺德区北滘镇 顺江社区三 乐东路25号之二十五 申请人 上海大学 (72)发明人 潘广进　徐树公　张恒　 (74)专利代理 机构 广东广盈专利商标事务所 (普通合伙) 44339 专利代理师 李俊 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种终端边缘联合资源优化配置的方法及 系统 (57)摘要 本发明公开了一种终端边缘联合资源优化 配置的方法及系统， 其方法包括： 基于边缘控制 器记录不同帧数的视频输入到神经网络时， 计算 神经网络所需要的乘加数以及神经网络识别的 准确率； 根据移动设备的视频识别请求完成控制 任务， 所述控制任务包括： 基于每个移动设备视 频采样的帧数给移动设备所对应的视频采样管 理模块发送采样帧数控制信息； 基于用户卸载决 策确定用户的推理任务是在本地DNN推理模块完 成还是在边缘DNN推理模块中完成； 基于各个移 动视频设备通信资源的分配策略从而确定各个 移动设备上行传输视频的时间比例。 基于该优化 方法同时降低系统的平均推理延时和移动设备 的平均能耗， 并提高模型推理的准确率。 权利要求书2页 说明书8页 附图1页 CN 114756371 A 2022.07.15 CN 114756371 A 1.一种终端边 缘联合资源 优化配置的方法， 其特 征在于， 所述方法包括： 基于边缘控制器记录不同帧数的视频输入到神经网络时， 计算神经网络所需要的乘加 数以及神经网络识别的准确 率； 在收到各个移动设备 的视频识别请求时， 根据移动设备 的 视频识别请求完成控制任务， 所述控制任务包括： 确定每个移动设备视频采样的帧数， 并基于每个移动设备视频采样的帧数给移动设备 所对应的视频采样管理模块发送采样帧数控制信息； 确定用户卸载决策， 基于用户卸载决策确定用户的推理任务是在本地DNN推理模块完 成还是在边 缘DNN推理模块中完成； 基于各个移动视频设备通信资源的分配策略从而确定各个移动设备上行传输视频的 时间比例； 确定边缘DNN推理模块的资源分配策略来决定每 个卸载用户的CPU计算频率。 2.如权利要求1所述的终端边缘联合资源优化配置的方法， 其特征在于， 所述方法还包 括： 所述边缘DNN推理模块从需要卸载的边缘设备中得到上传的视频， 然后根据边缘控制 器分配的计算资源完成推理， 并将推理结果发送至各个移动设备 上。 3.如权利要求1所述的终端边缘联合资源优化配置的方法， 其特征在于， 所述方法还包 括： 所述视频采样管理模块获取边缘计算的采样帧数控制信 息， 基于采样帧控制信 息控制 所在移动设备的采样帧数， 确定用于神经网络推理的输入视频的帧数。 4.如权利要求1所述的终端边缘联合资源优化配置的方法， 其特征在于， 所述方法还包 括： 所述本地控制器从视频采样管理模块中获取视频， 并根据从边缘控制器获取的用户卸 载决策决定是否将视频传输 至边缘服务器。 5.如权利要求4所述的终端边缘联合资源优化配置的方法， 其特征在于， 所述本地控制 器从视频采样管理模块中获取视频， 并根据从边缘控制器获取的用户卸载决策决定是否将 视频传输 至边缘服务器包括： 若用户卸载决策为1， 则将视频传输至边缘服务器进行推理， 同时传输的通信资源由基 站进行配置； 若用户卸载决策为0， 那么允许视频在本地完成推理， 并根据本地设备信息分配本地的 CPU计算资源。 6.如权利要求1所述的终端边缘联合资源优化配置的方法， 其特征在于， 当移动设备需 要在本地完成DNN推理 时， 本地DNN推理模块获取视频， 并使用分配的本地计算资源完成DNN 推理。 7.一种边端协同的视频AI推理系统， 其特 征在于， 所述系统包括： 边缘控制器， 用于记录着当不同帧数的视频输入到神经网络时， 计算神经网络所需要 的乘加数以及神经网络识别的准确 率； 在收到各个移动设备 的视频识别请求时， 根据移动 设备的视频识别请求完成控制任务； 边缘DNN推理模块， 用于从需要卸载的边缘设备中得到上传的视频， 然后根据边缘控制 器分配的计算资源完成推理， 并将推理结果发送至各个移动设备 上；权　利　要　求　书 1/2 页 2 CN 114756371 A 2视频采样管理模块， 用于获取边缘计算的采样帧数控制信息， 基于采样帧控制信息控 制所在移动设备的采样帧数， 确定用于神经网络推理的输入视频的帧数； 本地控制器， 用于从视频采样管理模块中获取视频， 并根据从边缘控制器获取的用户 卸载决策决定是否将视频传输 至边缘服务器； 本地DNN推理模块， 用于当移动设备需要在本地完成DNN推理时， 获取视频， 并使用分配 的本地计算资源完成DN N推理。 8.如权利要求7所述的边端协同的视频AI推理系统， 其特征在于， 所述根据移动设备的 视频识别请求完成控制任务包括： 确定每个移动设备视频采样的帧数， 并基于每个移动设备视频采样的帧数给移动设备 所对应的视频采样管理模块发送采样帧数控制信息； 确定用户卸载决策， 基于用户卸载决策确定用户的推理任务是在本地DNN推理模块完 成还是在边 缘DNN推理模块中完成； 基于各个移动视频设备通信资源的分配策略从而确定各个移动设备上行传输视频的 时间比例； 确定边缘DNN推理模块的资源分配策略来决定每 个卸载用户的CPU计算频率。 9.如权利要求8所述的边端协同的视频AI推理系统， 其特征在于， 所述本地控制器在若 用户卸载决策为 1时， 则将 视频传输至边缘服务器进 行推理， 同时传输的通信资源由基站进 行配置。 10.如权利要求8所述的边端协同的视频AI推理系统， 其特征在于， 所述本地控制器在 若用户卸载决策为0时， 那么允许视频在本地完成推理， 并根据本地设备信息分配本地的 CPU计算资源。权　利　要　求　书 2/2 页 3 CN 114756371 A 3