(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211042295.X (22)申请日 2022.08.29 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 刘娟秀　李嘉琛　张静　郝茹茜　 王祥舟　杜晓辉　刘霖　刘永　 (74)专利代理 机构 电子科技大 学专利中心 51203 专利代理师 陈一鑫 (51)Int.Cl. G06V 20/17(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/72(2022.01)G06V 10/774(2022.01) (54)发明名称 一种基于YOLOv5x改进模型的无人机拍摄图 像物体检测方法 (57)摘要 本文发明一种基于YOL Ov5x改进模 型的无人 机拍摄图像物体检测方法， 通过构建RSTS ‑ YOLOv5将YOLOv5结构中保留的部分提取单帧图 像中的图像特征与色彩信息与RSTS模块提取的 隐式上下文信息相结合， 弥补无人机拍摄图像中 物体过小， 特征极度不明显导致的难以检测的问 题， 利用无人机拍摄图像聚簇特点， 进行多尺度 数据增强， 具有操作简便、 检测效率高、 精度高、 漏检率和误检率低的效果。 权利要求书2页 说明书6页 附图3页 CN 115482475 A 2022.12.16 CN 115482475 A 1.一种基于 YOLOv5x改进模型的无 人机拍摄图像物体 检测方法， 包括以下步骤： 步骤1： 获取 无人机拍摄图像目标检测数据集； 步骤2： 对步骤1中的数据集格式进行转化， 通过Python脚本将检测标签转为YOLO格式 的txt标签文件， 文件中每一行代表一个目标框， 一行中包含参数为： 物体类别object ‑ class、 目标框中心横坐标x、 目标框中心纵坐标y、 目标框 宽度width、 目标框高度height； 步骤3： 对步骤2中获取的格式转化后的数据集进行多尺度数据增强， 首先将数据集图 片长度统一设置为1024， 并分别进行对应尺度大小为1120,1248,1344,1472的多尺度数据 增强； 步骤4： 构建RSTS模块， 其具体步骤为； 步骤4‑1： 通过Patch  Merging分别在输入特征图的行列两个方向每间隔2个像素选取1 个元素， 然后拼接在一起作为1个张量， 最后展开； 此时通道维度会变成原先的4倍， 因为H,W 各缩小2倍， 此时再通过一个全连接层再调整通道维度为原来的两倍； 步骤4‑2： 通过卷积操作将原始张量降采样至长宽大小为原张量的1/2， 通道数保持不 变； 步骤4‑3： 通过LayerN orm将步骤4 ‑1得到的张量沿通道维度进行归一 化； 步骤4‑4： 将步骤4 ‑3得到的张量划分成为多个窗口， 即将输入张量进行维度上的变化 使其从x∈RH×W×C空间变为x∈RN×Ws×Ws×C， 其中， N＝h ×w/(Ws×Ws)， H、 W表示向量空间的高 度、 宽度， Ws代 表窗口数量， h,w,C分别代 表原始的高度、 宽度、 通道数； 步骤4‑5： 对每个窗口进行多头自注意力机制计算， 得到相对位置信息编码后的特征 图； 步骤4‑6： 通过LayerNorm对步骤4 ‑4输出进行归一化， 然后通过全连接层将维度变化为 输入的原始维度， 并将输出的张量与步骤4 ‑4的输出作为残差进 行融合， 得到一张新的特征 图； 步骤4‑7： 通过对步骤4 ‑6输出的特征图移位， 并给自注意力机制计算过程设置掩膜来 实现的窗口迁移， 然后重复步骤4 ‑3到步骤4‑7， 最后恢复特 征图原始位置； 步骤4‑8： 将步骤4 ‑2得到的残差与步骤4 ‑7得到的输出进行融合； 步骤5： 基于步骤4构建的RSTS模块搭建RSTS ‑YOLOv5模型， 具体步骤如下： 步骤5‑1： 替换原始YOLOv5中backbone第10层的C3层 为RSTS模块， 该模块具体参数为： 3 组成对的Sw in Transformer  block， 窗口大小为 4， 多头注意力机制头数为12； 步骤5‑2： 在第17层后， 继续对特征图进行上采样， 使得特征图继续扩大， 同时在第20层 时， 将获取到的特征图与Y OLOv5骨干网络的第3层特征图进 行融合， 以此获取更大的特征图 进行小目标检测； 步骤5‑3： 在YOLOv5骨干网络的第23、 27、 31、 35层分别对应添加1、 3、 2、 1组成对的Swin   Transformer  block的RSTS模块， 其窗口大小为 4， 多头注意力机制头数为12； 步骤6： 对于数据集中所有的训练样本集， 统一进行马赛克数据增强， 然后对步骤5得到 模型进行训练， 直到训练完成； 步骤7： 对于数据集中所有的测试样本集， 进行批量测试， 采用通过测试的模型进行实 时物体检测。 2.如权利 要求1所述的一种基于YOLOv5x改进模型的无人机拍摄图像物体检测方法， 其权　利　要　求　书 1/2 页 2 CN 115482475 A 2特征在于， 所述 步骤3的具体步骤为： 步骤3‑1： 计算一张图像中包 含所有目标框的平均坐标位置(xmean,ymean)： 其中， xi,yi分别代表每个目标框中心点的坐标位置， n表示目标框总个数； 步骤3‑2： 计算每 个尺度大小对应的截取尺度 其中， lxo,lyo分别代表原始图像的长宽尺寸， 其lxo取值为1120,1248,1344,1472， k代表 放大系数， 即放大后尺度/原 始尺度； 步骤3‑3： 以所有目标框的平均坐标位置为中心点， 截取尺度为中心点延伸像素点长 度， 裁剪出图像区域， 获取到新的图像， 并将其放大至长度的统一值1024， 得到新的静态图 像； 步骤3‑4： 计算目标框在图像进行裁剪放大后对应的像素坐标位置及其长宽， 对于目标 仍有50％以上面积位于新图像中的目标， 保留其 目标框并根据图像内容将其标签值更新， 生成新的标签数据。权　利　要　求　书 2/2 页 3 CN 115482475 A 3