(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210397102.6 (22)申请日 2022.04.15 (71)申请人 武汉光庭信息技 术股份有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区港边田一路6号(自贸区武汉片 区) (72)发明人 周风明　胡文冲　余雄风　 (74)专利代理 机构 武汉蓝宝石专利代理事务所 (特殊普通 合伙) 42242 专利代理师 廉海涛 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于AI图像语义分割交互标注的方法 及系统 (57)摘要 本发明涉及一种基于AI图像语义分割交互 标注的方法及系统， 以卷积神经网络为核心设计 用于分割图像的神经网络模型； 获取训练数据 集， 进行预处理， 并进行分类， 利用分类后的训练 数据集对所述神经网络模 型机型训练， 得到AI模 型； 获取目标图像上的人工打点信息， 并调用所 述AI模型对所述目标图像进行分割， 提取所述人 工打点所在的标注对象 的轮廓数据。 通过人工与 AI模型交互结合， 能够在很 大程度上提高语义分 割图像标注效率和标注精度， 适用性也有很大提 升。 权利要求书1页 说明书4页 附图3页 CN 114782690 A 2022.07.22 CN 114782690 A 1.一种基于AI图像 语义分割交 互标注的方法， 其特 征在于， 包括： 以卷积神经网络为核心设计用于分割图像的神经网络模型； 获取训练数据集， 进行预处理， 并进行分类， 利用分类后的训练数据集对所述神经网络 模型机型训练， 得到AI模型； 获取目标图像上的人工打点信息， 并调用所述AI模型对所述目标图像进行分割， 提取 所述人工打点所在的标注对象的轮廓数据。 2.根据权利要求1所述的方法， 其特征在于， 所述神经网络模型包括： 关键点检测模块 和语义分割模块； 所述关键点检测模块基于 HRNet实现； 所述语义分割模块基于ocrnet实现； 所述神经网络模型的输入包括图片信 息以及人工打点的编码信 息； 所述图片信 息和人 工打点的编 码信息分别经过一层卷积层后进 行叠加融合， 再经过一层卷积层后输入到 关键 点检测模块中， 关键点检测模块与所述语义分割模块级联， 语义分割模块的输出即为人工 打点所在对象的轮廓数据。 3.根据权利要求1所述的方法， 其特征在于， 针对细长对象， 所述神经网络模型采用归 一化焦点损失函数。 4.根据权利要求1所述的方法， 其特征在于， 所述预处理包括数据清洗、 类别筛选、 多数 据集融合、 标注转换。 5.根据权利要求1所述的方法， 其特征在于， 对所述训练数据集分类后， 针对数据量较 少的类别， 需要融合多种数据集以增 加该类别样本数据量。 6.根据权利要求1所述的方法， 其特征在于， 提取所述人工打点所在的标注对象的轮廓 数据后， 还包括： 判断语义分割结果是否满足精度要求， 若满足则输出所述轮廓数据并进 行 下一标注对象的轮廓提取， 否则进行反馈并再次获取当前 标注对象的人工打点信息 。 7.根据权利要求1所述的方法， 其特征在于， 一个标注对象的人工打点信 息至少包括一 个标注点。 8.一种基于AI图像 语义分割交 互标注的系统， 其特 征在于， 包括： 模型建立模块， 以卷积神经网络为核心设计用于分割图像的神经网络模型； 模型训练模块， 获取训练数据集， 进行预处理， 并进行分类， 利用分类后的训练数据集 对所述神经网络模型机型训练， 得到AI模型； 交互标注模块， 获取目标图像上的人工打点信息， 并调用所述AI模型对所述目标图像 进行分割， 提取 所述人工打点所在的标注对象的轮廓数据。 9.一种电子设备， 其特 征在于， 包括： 存储器， 用于存 储计算机软件程序； 处理器， 用于读取并执行所述计算机软件程序， 进而实现权利要求1 ‑7任一项所述的一 种基于AI图像 语义分割交 互标注的方法。 10.一种非暂态计算机可读存储介质， 其特征在于， 所述存储介质中存储有用于实现权 利要求1‑7任一项所述的一种基于AI图像 语义分割交 互标注的方法的计算机软件程序。权　利　要　求　书 1/1 页 2 CN 114782690 A 2一种基于AI图像语 义分割交互标注的方 法及系统 技术领域 [0001]本发明涉及计算机视觉技术领域， 具体涉及一种基于AI图像语义分割交互标注的 方法及系统。 背景技术 [0002]数据集是训练AI模型的必要元素， 如cityscapes、 mapillary等都是著名的公开数 据集， 然而这些公开数据集做学术研究尚可， 但是在工业界往往因为标注对象不匹配、 标注 精度差、 数量有限等原因无法训练出 理想的模型。 因此对于企业而言， 拥有和自己业务匹配 的数据集是十 分必要的。 然而语义分割数据集标注需要 大量人力， 标注工作非常耗时， 为 企 业带来很大的成本 。 [0003]语义分割标注需要将图片中的对象(人、 车)的轮廓用多边形标注出来， 目前有两 种常用标注方式： 一是利用标注工具进 行纯手工标注， 标注 一张图片需要近一个小时， 效率 很低； 二是手工+算法的交互标注方式， 需要人工画出大致草图或关键点， 再利用算法进行 自动贴合， 但是该方法对于路灯、 植物等细长或形状复杂的对象贴合很差， 所以效率甚至比 纯手工更低。 发明内容 [0004]本发明针对现有技术中存在的技术问题， 提供一种基于AI图像语义分割交互标注 的方法及系统。 [0005]第一方面， 本发明提供一种基于AI图像 语义分割交 互标注的方法， 包括： [0006]以卷积神经网络为核心设计用于分割图像的神经网络模型； [0007]获取训练数据集， 进行预处理， 并进行分类， 利用分类后的训练数据集对所述神经 网络模型机型训练， 得到AI模型； [0008]获取目标图像上的人工打点信息， 并调用所述AI模型对所述目标图像进行分割， 提取所述人工打点所在的标注对象的轮廓数据。 [0009]进一步的， 所述神经网络模型包括： 关键点检测模块和语义分割模块； [0010]所述关键点检测模块基于 HRNet实现； 所述语义分割模块基于ocrnet实现； [0011]所述神经网络模型的输入包括图片信息以及人工打点的编码信息； 所述图片信息 和人工打点的编码信息 分别经过一层卷积层后进 行叠加融合， 再经过一层卷积层后输入到 关键点检测模块中， 关键点检测模块与所述语义分割模块级联， 语义分割模块的输出即为 人工打点所在对象的轮廓数据。 [0012]进一步的， 针对细长对象， 所述神经网络模型采用归一 化焦点损失函数。 [0013]进一步的， 所述预处 理包括数据清洗、 类别筛 选、 多数据集融合、 标注转换。 [0014]进一步的， 对所述训练数据集分类后， 针对数据量较少的类别， 需要融合多种数据 集以增加该类别样本数据量。 [0015]进一步的， 提取所述人工打点所在的标注对象的轮廓数据后， 还包括： 判断语义分说　明　书 1/4 页 3 CN 114782690 A 3