(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210391779.9 (22)申请日 2022.04.14 (71)申请人 西安建筑科技大 学 地址 710055 陕西省西安市碑林区雁塔路 13号 (72)发明人 孟月波　黄琪　韩九强　徐胜军　 刘光辉　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 陈翠兰 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种动态多物品定位 抓取包装方法及系统 (57)摘要 本发明公开了一种动态多物品定位抓取包 装方法及系统， 提取目标物品的浅层空间特征和 深层语义特征， 对提取的浅层空间特征和深层语 义特征进行融合及优化， 获取目标物品的图像分 割图； 对图像分割图进行预处理， 对处理后的图 像分割图进行目标物品轮廓检测， 获取目标物品 的轮廓点坐标， 进一步获取目标物品抓取的位姿 信息， 并将目标物品抓取至包装盒中； 获取目标 物品包装的运动轨迹点位姿态信息， 结合插值轨 迹点规划算法， 在运动轨迹点进行插值， 获取插 值轨迹点关节角信息， 将插值轨迹点关节信息集 合并封装为目标物品包装运动控制指令集， 对目 标物品进行封装。 灵活度更好， 对物品的抓取率 更高， 降低了现有技术中对机械臂磨损大， 人工 生产成本高的问题。 权利要求书3页 说明书13页 附图5页 CN 114998578 A 2022.09.02 CN 114998578 A 1.一种动态多物品定位 抓取包装方法， 其特 征在于， 包括以下步骤： S1： 提取目标物品的浅层空间特征和深层语义特征， 对提取的浅层空间特征和深层语 义特征进行融合及优化， 获取目标物品的图像分割图； S2： 对图像分割图进行预处理， 对处理后的图像分割图进行目标物品轮廓检测， 获取目 标物品的轮廓点坐标， 基于轮廓点坐标信息获取目标物品抓取 的位姿信息， 并将目标物品 抓取至包 装盒中； S3： 获取目标物品包装的运动轨迹点的位姿态信息， 结合插值轨迹点规划算法， 在运动 轨迹点进行插值， 获取插值轨迹点关节角 信息， 将插值轨迹点关节信息集合并封装为 目标 物品包装运动控制指令集， 对目标物品进行封装。 2.根据权利要求1所述的一种动态多物品定位抓取包装方法， 其特征在于， 所述S1是基 于多尺度上 下文感知的单分支融合语义分割网络对目标物品进行分割， 包括以下步骤： S1.1： 特征提取 采用VGG前七层卷积结构作为骨干网络获取浅层空间特征F和浅层语义特征图Fs， 通过 上下文感知结构和上 下文嵌入层获取深层语义特 征Ff； F， Fs＝FVGG_7(I) 其中， I表示输入的原图， VG G_7表示改进的VG G前七层卷积结构； 将Fs作为初始特征图， 采用四分之支结构， 通过特征金字塔池化获取多尺度特征图Fj， 分别记为F1、 F2、 F3和F4； Fj＝Up(conv(Adap(Fs,j)), θj) 式中， Adap表示自适应平均池 化； conv表示1 ×1卷积； θj表示各个1 ×1卷积对应的权重； Up表示上采样； 通过上下文对比特 征图Cj捕捉特定空间位置特 征和相邻空间特 征的差异， Cj＝Fj‑Fs 利用上下文对比特 征图Cj获取对应的上 下文权重图Wj， 记为W1、 W2、 W3和W4， Wj＝σ(Conv(Cj, θj)) 式中， Conv表示1 ×1卷积， 生成图像中每个像素位置的权重； σ 表示Sigmoid激活函数， 将权重值映射到 0到1之间； 上下文权重图Wj与对应的多尺度特征图Fj像素级相乘， 通过1 ×1卷积将四个分支特征 图融合， 生成多尺度上 下文感知特 征图Fr； Fr＝Conv(multi(Wj,Fj)) 式中， multi表示各个多尺度特征图和它对应的上下文权重图逐像素相乘， 输出对应的 特征图； Conv表示1 ×1卷积， 将 四个分支的特征图融合， 获取多尺度上下文感知特征图Fr， 上下文感知结构包括三个多尺度感知层， 三个多尺度感知层输出特征图分别为Fr1、 Fr2和 Fr3； 以上下文感知结构输出特征图Fr3作为输入， 通过全局平均池化和1 ×1卷积， 降维至C × 1×1； 然后采用广播机制和输入特 征图像素级相加， 获取深层语义特 征图Ff； S1.2： 基于获取的浅层空间特征F和深层语义特征图Ff， 分别通过3 ×3卷积、 1×1卷积和 Sigmoid激活函数生成对应的特征引导注意力图， 通过特征引导注意力图指导对方的特征 图捕获不同的尺度特 征， 最后通过3 ×3卷积融合特 征信息， 输出最终的预测分割图Fm。权　利　要　求　书 1/3 页 2 CN 114998578 A 23.根据权利要求2所述的一种动态多物品定位抓取包装方法， 其特征在于， 所述S2包括 对获取的分割图进行优化： 以骨干网络获取浅层空间特征F、 上下文感知结构中三个多尺度感知层输出特征图Fr1、 Fr2、 Fr3和预测分割图Fm作为输入， 记为Ci×Wi×Hi， 通过3×3卷积和1 ×1卷积在不改变特征 图的大小的前提下， 将各个特征图的通道数压缩至类别数N， 卷积特征图记为N ×Wi×Hi， 通 过上采样,将各个特 征图乘以对应的上采样系数Si， 最终特 征图记为 N×SiWi×SiHi， 计算最终特征图和标签图之间的损失， 作为网络总损失， 记为total_l oss， 式中， oh_lossj为各个特征增强训练策略的损失， Xj表示各个特征增强训练策略模块输 出的特征图， W表示特 征图对应的真值图。 4.根据权利要求1所述的一种动态多物品定位抓取包装方法， 其特征在于， 所述S2包括 以下步骤： S2.1： 对N个二维轮廓点像素坐标组成2 ×N矩阵， 记为： 对矩阵按列方向求均值， 将得到的行向量作为 抓取点像素坐标位置P， S2.2： 对2 ×N矩阵， 按列方向分别减去像素坐标位置P的X轴坐标和Y轴坐标， 得到去中 心化的新2 ×N矩阵， 记为： S2.3： 将RM的协方差矩阵， 记为C M， CM对应的特 征值， 记为 λ1, λ2， 特征向量， 记为 λ1, λ2＝eigenvalues(C M) S2.4： 选取最大的特征值λmax＝max( λ1, λ2)对应的特征向量， 记为V＝(X1,Y1)∈(V1,V2)， 对V中的两个值X1,Y1， 求反正切得出机器人抓取点姿态弧度， 最后采用degrees函数将弧度 转为角度， 作为 抓取点姿态角度， 记为θ，权　利　要　求　书 2/3 页 3 CN 114998578 A 3