(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013813.5 (22)申请日 2022.08.23 (71)申请人 广东工业大 学 地址 510000 广东省广州市番禺区大 学城 外环西路10 0号 (72)发明人 陈玉冰　陈新度　吴磊　 (74)专利代理 机构 广州专理知识产权代理事务 所(普通合伙) 44493 专利代理师 王允辉 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06T 7/00(2017.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的LED焊线点云分类方法 及装置 (57)摘要 本发明涉及一种基于深度学习的LED焊线点 云分类方法， 包括以下： 获取目标LED三维点云； 分别对所述目标LED三维点 云进行基于PointNet 的特征提取得到第一特征向量， 以及进行基于 法 线微分的法向量估计得到第二特征向量； 对所述 第一特征向量以及第二特征向量进行拼接， 得到 完整的点云特征； 基于完整的所述点云特征通过 全连接网络进行作用， 完成点云分类。 本发明利 用法线微分算法估算点的法线向量， 将该向量作 为点的特征向量融合到基于PointNet的深度学 习网络中， 提高了点云分类的准确性。 以使所分 类提取出的焊线点云可进一步用于三维缺陷检 测， 从而实现并提高带有三维特征的LED焊线缺 陷检测准确率。 权利要求书2页 说明书5页 附图1页 CN 115471693 A 2022.12.13 CN 115471693 A 1.一种基于深度学习的LED焊线点云 分类方法， 其特 征在于， 包括以下： 获取目标LED三维点云； 分别对所述目标LED三维点云进行基于PointNet的特征提取得到第一特征向量， 以及 进行基于法线微分的法向量估计得到第二特征向量， 该过程的损失函数为L＝(1 ‑μ )×Lp+ μ ×Ld， 其中Lp为基于PointNet特征提取的损失函数， Ld为基于法线微分的法向量估计的损失 函数， μ为平衡因子， 人为设置； 对所述第一特 征向量以及第二特 征向量进行拼接， 得到 完整的点云特 征； 基于完整的所述 点云特征通过全连接网络进行作用， 完成点云 分类。 2.根据权利要求1所述的一种基于深度学习的LED焊线点云分类方法， 其特征在于， 具 体的， 基于Po intNet的特 征提取包括以下 过程， 假定输入LED三维点云P＝{p1,p2,…,pN}， 其中pi表示第i个点， N 点云的总数； 输入的所有点云中， 将每个点云称为每个点， 以每个点为中心， 以120μm的球半径所包 围的点集作为该LED点云的数据集； 采用最远点采样法对每 个点的输入集进行 下采样， 设置下采样点数为512； 分组层是使用最近邻算法KN N将512个点分为了 32个组， 每 个组16个点； 然后经过PointNet网络提取 出该点的特 征向量； 上述一个流程称为一个集合抽象化， 经过3个集合抽象化后最终得到1X1021的特征向 量。 3.根据权利要求2所述的一种基于深度学习的LED焊线点云分类方法， 其特征在于， 具 体的， 基于法线微分的法向量估计包括以下 过程， 由于LED焊线与楔形支架之间的尺度变化较大， 基于法线微分算法识别不同尺度下法 向量特征的差异性效果较好， 因此利用法线微分算法估计点的法向量以提供点的特征识 别， 对于目标LED三维点云的每一个点p， 利用较大的半径rl估算一个点p的法向量Δn(p, r1)， 利用较小的半径rs估算同一个点p的法向量Δn(p,rs)， 两法向量差的平均值即为点p的 DoN特征。 4.根据权利要求3所述的一种基于深度学习的LED焊线点云分类方法， 其特征在于， 具 体的， 对所述第一特 征向量以及第二特 征向量进行拼接， 得到 完整的点云特 征， 包括以下， 第一特征向量为基于PointNet提取的1021维特征， 第二特征向量为基于法线微分的法 向量估计提取的3维特 征， 将1021 维特征与3维特 征进行拼接， 最终得到 完整的1024维特 征。 5.根据权利要求1所述的一种基于深度学习的LED焊线点云分类方法， 其特征在于， 具 体的， Lp与Ld基于softmax函数求得， 包括以下 过程， 首先利用softmax函数将输出值归一化为0～1 的范围内 将softmax函数公式 代入交叉熵损失函数即为Lp， 其中， xi为输入到softmax函数的第i 个样本， yi为真实的概 率分布， N 为样本数量； 其中ni为估计的法向量， n ′i为真实法向量。 6.根据权利要求1所述的一种基于深度学习的LED焊线点云分类方法， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 115471693 A 2述方法还 包括， 训练过程如下， 将LED三维点云中的每个点对应的球邻域作为一个训练样本， 使用Adam优化器对网络 模型进行训练， 初始学习率0.001， 每20个epoch降低0.7， β1为0.9， β2为0.999， 权重衰减率为 10‑4。 7.根据权利要求1所述的一种基于深度学习的LED焊线点云分类方法， 其特征在于， 具 体的， 所述平衡因子 μ 的取值 为0.7。 8.一种基于深度学习的LED焊线点云 分类装置， 其特 征在于， 包括以下： 三维点云获取模块， 用于获取目标LED三维点云； 特征提取模块， 包括， 第一特征提取单元， 用于对所述目标LED三维点云进行基于PointNet的特征提取得到 第一特征向量， 第二特征提取单元， 用于对所述目标LED三维点云进行基于法线微分的法向量估计得 到第二特征向量， 该过程的损失函数为L＝(1 ‑μ )×Lp+ μ×Ld， 其中Lp为基于PointNet特征提 取的损失函数， Ld为基于法线微分的法向量估计的损失函数， μ为平衡因子， 人为设置； 特征融合模块， 用于对所述第一特征向量以及第二特征向量进行拼接， 得到完整的点 云特征 点分类模块， 用于基于 完整的所述 点云特征通过全连接网络进行作用， 完成点云 分类。权　利　要　求　书 2/2 页 3 CN 115471693 A 3