(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210937374.0 (22)申请日 2022.08.05 (71)申请人 西北大学 地址 710069 陕西省西安市碑林区太白北 路229号 (72)发明人 高岭　陈沐梓　曹瑞　周一璇　 曹亚梅　郑杰　 (74)专利代理 机构 西安西达专利代理有限责任 公司 61202 专利代理师 刘华 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (54)发明名称 一种利用分层训练结合标签平滑的文化资 源图像分类方法 (57)摘要 一种利用分层的训练方式结合标签平滑弱 化监督强度方法， 对公共文化云数据库中的图像 进行处理， 与传统的ResNet图模型学习方法不 同， 本发明采用了 FPN的分层思想， 即对图像的大 小设置不同的通道数， 将每一阶段的通道数视为 一层， 设计层级标签平滑处理方式， 对于浅层网 络利用标签平滑弱化监督强度， 在深层收紧平滑 提高监督强度， 从而让模型具有更好的泛化能 力， 再利用各层的损失函数的加和作为最终的损 失并参与反向传播， 不仅解决了在广泛的尺度和 位置上检测和定位多个物体， 而且使得模型的泛 化能力进一 步提升。 权利要求书2页 说明书7页 附图2页 CN 115311494 A 2022.11.08 CN 115311494 A 1.一种利用分层的训练方式结合标签平滑弱化监督强度方法， 其特征在于， 包括以下 步骤： 步骤1， 从公共文化云收集 开源图像数据； 步骤2， 设使用图像模型Resnet,确定算法思想为预测在不同特征层独立进行， 利用FPN 的分层思想， 设为图像金字塔算法思想采用自底向上的思想， 即 网络的前向过程， 在前向过 程中， 特征图的大小在经过某些层后会改变， 而在经过其他一些层的时候不会改变， 将不改 变特征图大小的层归为一个阶段， 因此每次抽取 的特征都是每个阶段 的最后一个层输出， 这样就能构成特 征金字塔； 步骤3， 利用确定好的模型以及算法思想， 进行图像处理， 将数据进行翻转、 模糊等数据 增强， 将处理好的数据送入模 型中， 对数据进 行标准化； 采用3*3*3的图像大小， 则其通道数 为128， 在训练时， 将16、 32、 64、 128的通道数分别做一个阶段， 也可视为一层， 利用resnet ‑ 18的网络结构， 将每一个块视作一个层， 在每一个块连接下一个块的中间增加一个全连接 层和分类， 并与标签平滑后的标签通过交叉熵的损失函数计算层级的损失， 即视为一层的 数据被处理完 毕， 将处理好的层数据传 入到下一层中， 相同操作处理层数据， 最终在经过通 道数128时结合前面通道层数的特征信息， 在经过全局平均池化及 全连接后进 行分类， 而此 时得到的损失为前面层的损失的总和， 利用总的损失进 行反向传播， 不断在训练时， 低层首 先通过这个额外的损失梯度优化层级参数， 随着训练的加深， 逐渐优化顶层参数； 步骤4， 实验设置， 采用控制变量法进行实验， 设计多组实验， 其中包括： (1)观察分层训练以及增 加了平滑的分层训练是否有效果； (2)控制平 滑参数不变， 观察 参与的层数变化对结果的影响； (3)控制层数不变， 改变平 滑参数； 其又 可细分为： a.观察相同参数与不同参数的影响， b.观察标签平 滑参数全零与全0.1的影响； 分别得出三组实验结论 为： (1)有效果， 但是这个效果 不能确定是来自于分层训练的还是来自于标签平 滑得到的； (2)可以看出， 不同层对于分层训练的过程中标签平 滑的需求是不 一致的； (3)验证了分层训练有助于模型的提高准确率； 不同层对标签平滑 的敏感度是不一致 的。 2.根据权利要求1所述的一种利用分层的训练方式结合标签平滑弱化监督强度方法， 其特征在于， 防止模 型在训练 时过于自信地预测标签， 改善泛化能力差； 利用分层的训练方 式结合标签平滑弱化监督 强度具体是指网络在分层训练 时， 对于浅层网络利用标签平滑弱 化监督强度， 在深层收紧平 滑提高监 督强度， 从而让模型 具有更好的泛化能力。 3.根据权利要求1所述的一种利用分层的训练方式结合标签平滑弱化监督强度方法， 其特征在于， 损失函数使用交叉熵， 对于每一个样本i,其损失函数为: 注:yi为样本标签， 为1或0； xi为样本数据； P为 概率函数； 为所有样本数据为yi的概率； 数据随机化之后， 与yi相同的新标签的概率有1 ‑ε， 不同的概率为ε(即1 ‑yi)， 所以采用 训练数据采用标签随机化时， 有1 ‑ε 的概率其损失函数和上面的式子相同， 有 ε 的概 率为:权　利　要　求　书 1/2 页 2 CN 115311494 A 2注:yi为样本标签， 为1或0； xi为样本数据； P为概率 函数； 为所有样本数据为yi的概率； 1‑ε为与yi相同的新标签的概 率； ε(即1 ‑yi)为不同的概 率； 按概率加权平均以上两个公式， 就可以得到: 注:yi为样本标签， 为1或0； xi为样本数据； P为概率 函数； 为所有样本数据为yi的概率； 1‑ε为与yi相同的新标签的概 率； ε(即1 ‑yi)为不同的概 率； 简化上面的公式， 令yi′＝ ε(1‑yi)+(1‑ε )yi,就可得到: 注:yi为样本标签， 为1或0； xi为样本数据； P为 概率函数； 为所有样本数据为yi的概率； 与原先的交叉熵公式表达式相比， 只将yi替换成yi′， 其余内容保持不变， 其等价于:把 每个标签yi替换成yi′， 再进行常规的训练过程， 因此， 我们随机化处理不需要在训练前进 行， 只需要替换一下每 个标签即可； 也就是说， 如果标签为1， 将其替换为较接近的数1 ‑ε， 同样地， 当标签为0时， 并不将0直 接放入训练， 而是将其替换为一个比较小的数ε， 为了看出效果， 可给出交叉熵模型的表达 式: 从此公式中可以看出， 1和0没有机会在交叉熵模型输出前出现， 而ω会在模型中不断 的扩大,致使交叉熵模型会不断的去增大ω,输出预测会尽可能的靠近1或0这样的结果， 但 此过程是与正则化是相互矛盾的； 换个通俗点的说法， 即就是有 可能会造成过拟合， 若将标 签0和1分别用1 ‑ε和ε代替， 在达到这个值之后， 对模型的进一步优化输出就不会进行； 所 以， 平滑操作就是指将两个极端的0和1的值变为两个相对而言不是很极端的值。 4.根据权利要求1所述的一种利用分层的训练方式结合标签平滑弱化监督强度方法， 其特征在于， 所述的标签平滑是， 分层好的特征图， 在训练较低层时就预先计算一个层级的 损失进行反向传播， 提前调整 前低层的层级参数， 各层的损失相加最 终得到一个总的损失, 利用此损失进行反向传播， 同时对各个阶段的层特征， 加入和L1,L2以及dropout一样的正 则化方法为标签平 滑。权　利　要　求　书 2/2 页 3 CN 115311494 A 3