(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210422984.7 (22)申请日 2022.04.21 (71)申请人 佛山市川粤智能商厨有限公司 地址 528000 广东省佛山市顺德区龙江镇 仙塘村西区一路8号之一顺德万洋众 创园9栋101(住所申报) (72)发明人 孟盛　廖翊杰　赵晓岩　张辰晖　 赵江耀　仇建东　杨逸驰　任星宇　 张婧怡　 (74)专利代理 机构 北京成高专利代理事务所 (普通合伙) 16047 专利代理师 姚燕春 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于YOLO融合深度信息的环境感知方 法 (57)摘要 本发明公开了一种基于YOLO融合深度信息 的环境感知方法， 涉及环境信息感知领域， 所述 基于YOLO融合深度信息的环境感知方法包括以 下步骤： S1： 建立包含所需识别目标的原始图像 库并制成具有标签的数据集步骤， 收集不同环境 下包含所需识别目标的 图片， 并进行大致筛选得 到原始图片库， 使用开源的数据集标注工具 LabelImg对图片库 中的图片进行yolo格式的标 注得到具有标签的数据集， 本发 明具有较高的鲁 棒性和准确性， 深度网络预测过程和深度信息获 取融合过程并不冲突， 耦合性弱， 使得算法帧率 较高， 实时性较好， 使用目标检测算法融合深度 信息的方法， 将新一维深度信息融入到二维色彩 信息， 生成全新判断逻辑， 保障航行的安全。 权利要求书2页 说明书6页 附图1页 CN 114676793 A 2022.06.28 CN 114676793 A 1.一种基于YOLO融合深度信息的环境感知方法， 其特征在于， 所述基于YOLO融合深度 信息的环境感知方法包括以下步骤： S1： 建立包含所需识别目标的原始图像库并制 成具有标签的数据集步骤， 收集不同环 境下包含所需识别目标的图片， 并进行大致筛选得到原始图片库， 使用开源的数据集标注 工具Label Img对图片库中的图片进行yo lo格式的标注得到具有标签的数据集。 S2： 使用数据集训练目标检测神经网络并得到质量较好的目标检测模型步骤， 选用 Python的第三方深度学习 工具库pytorch进行yolo模型训练， 得到泛化能力较好和loss值 较低的模型权 重文件， 并以pt文件保存以供模型加载。 S3： 配置并驱动RGBD相机并获取RGB与Depth数据信息步骤， 在开源网站上下载并安装 对应RGBD相机 的OpenNI2  SDK到本地， 通过Python的第三方库openni使用SDK驱动接入的 RGBD相机并获取其输出的彩色图和深度图。 S4： 目标检测步骤， 使用yolov5的目标检测网络加载pt权重文件进行所需目标的识别， 获取识别得到的包围框像素位置坐标， 如果在一帧图像中未检测到目标， 则 没有任何包围 框像素坐标信息可获得， 故跳过后续 步骤， 直接进行 下一帧检测循环。 S5： 目标深度信息融合步骤， 将得到的目标包围框像素坐标信息 映射到RGBD相机输出 的与本帧彩色图像对应的深度图信息上并形成一个深度数据 矩阵， 根据不同的检测环境需 求， 计算该矩阵的平均深度值、 最大或最小深度值 等作为该目标的近似深度值。 2.根据权利要求1所述的一种基于YOLO融合深度信 息的环境感知方法， 其特征在于， 所 述建立包含所需识别目标的原始图像库并制成具有标签的数据集步骤， 确定需识别的目 标， 如暗礁、 冰山、 珊瑚、 鱼类等。 收集不同环境中包含需识别目标的图片， 筛选剔除像素低 于1280x768PPI、 目标模糊的无效图片， 保留过筛后的图片得到原始图片库， 为适配深度学 习架构， 需制作包含所需识别目标的数据集， 数据集以一维向量的形式储存， 安装并使用 LabelImg数据标注工具， 预先设置分类类目并存于TXT文本文档中， 通过windows命令行初 始化预设的分类类目文档并加载LabelImg工具， 进入LabelImg工具GUI界面选择标注需识 别的目标并保存标签文件 xml。 3.根据权利要求1所述的一种基于YOLO融合深度信 息的环境感知方法， 其特征在于， 所 述使用数据集训练目标检测神经网络并得到质量较好的目标检测模型步骤， 由所需比例划 分测试集、 训练集与验证集， 将标签文件xml文件转为yolo_txt 格式， 创建生 成Anchors文件 并通过train.py以batch_size  8为标准使用GPU将图片训练200次， 循环更新模型权重， 得 到较低loss值且泛化能力较高的目标模型， 下载并安装CUDA对应的TensorFlow版本， 随即 使用基于参数修剪和共享的方法去除模型中冗余与不重要的项压缩模型， 在TensorFlow   Model模块下将已训练好的模型存 储在硬盘中。 4.根据权利要求1所述的一种基于YOLO融合深度信 息的环境感知方法， 其特征在于， 所 述配置并驱动RGBD相机并获取RGB与Depth数据信息步骤， 下载并安装相机驱动与所需SDK， 将相应地址用于配置IDE中项目属性， 随即调用VideoStream： ： readFrame()以测试 VideoStreamRef类正确读取数据帧的能力， 使用Device类连接RGBD相机设备， 再由Device 创建VideoStream  depth、 VideoStream  color分别启动深度流与色彩流， 在此基础上循环 调用深度流与色彩流而得到一系列实时RGB与Depth数据帧流数据。 5.根据权利要求1所述的一种基于YOLO融合深度信 息的环境感知方法， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 114676793 A 2述目标检测步骤， 使用OpenNI::waitForAnyStream方法获取实时流数据， 结合由Device创 建VideoStream  depth、 VideoStream  color分别启 动深度流与色彩流中的VideoStream   depth、 VideoStream  color同步获取sensor_depth与sensor_color类型的DepthStream、 ColorStream流数据， 将所 获取的ColorStream导入在Ten sorFlow Model模块下将已训练好 的模型中训练的目标检测模型， 对每一帧进行目标识别、 框选、 划分后得到目标预测框， 再 提取目标预测框的四个顶点像素坐标信息并返回包含顶点像素坐标的二 维数组， 将返回的 四个顶点像素坐标数组经过RGB—DEPTH图像间像素坐标转换对应法则， 映射至同步获取 sensor_depth与sensor_color类型的DepthStream深度流图片中， 返回具有目标深度信 息 的矩阵， 计算返回的深度信息矩阵， 使用Av erageDepth运算规则， 将深度信息的均值作为目 标深度的近似值。 6.根据权利要求1所述的一种基于YOLO融合深度信 息的环境感知方法， 其特征在于， 所 述目标深度信息融合步骤， 此处提取数据AverageDepth方法支持替换为： MaximumDepth、 MinutesDepth， 用于适应不同检测环境的需求， 如果将所获取的ColorStream导入在 TensorFlow  Model模块中， ColorStream导入模型进行训练， 但无预测结果， 则不进一步匹 配深度信息， 自动抛弃该帧数据， 程序 返回至使用OpenNI::waitForAnyStream方法获取实 时流数据， 结合由Device创建VideoStream  depth、 VideoStream  color分别启动深度流与 色彩流中的VideoStream  depth、 VideoStream  color同步获取sensor_depth与sensor_ color类型的DepthStream、 ColorStream流数据， 匹配下一帧数据， 防止因程序异常中断导 致的应用事故， 为防止目标因前景 的遮挡造成深度信息矩阵数据变化不连续， 而返回误差 较大的深度近似值， 需对返回的深度信息矩阵进行 数据的连续 性检验。权　利　要　求　书 2/2 页 3 CN 114676793 A 3