(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210964078.X (22)申请日 2022.08.11 (71)申请人 厦门市美亚柏科信息股份有限公司 地址 361000 福建省厦门市思明区软件园 二期观日路12号102-402单 元 (72)发明人 姚灿荣　张光斌　吴俊毅　高志鹏　 赵建强　杜新胜　韩名羲　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 郭涵炜 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于多阶注意力机制融合的人脸属性 识别算法及系统 (57)摘要 本发明提出了一种基于多阶注意力机制融 合的人脸属性识别算法， 该算法包括： 响应于人 脸检测方法和人脸对齐方法， 获取图像中的完整 人脸区域， 并输出人脸图像； 将获取的人脸图像 输入至卷积神经网络模型中， 进一步提取该人脸 图像的若干图像特征进行训练并处理； 以及同时 将获取的人脸图像的图像特征输入至多阶注意 力机制融合网络模型中进行训练和处理； 完成对 该人脸图像的属性识别。 通过在卷积神经网络的 基础上引入了多阶注意力机制融合网络， 利用 Transformer构建全局特性信息 的能力， 学习图 像所有的面部属性信息， 利用卷积神经网络强大 的特征信息提取能力和多阶注意力机制融合网 络建模全局特性信息的能力， 提升了算法对面部 多种属性的识别能力。 权利要求书2页 说明书8页 附图3页 CN 115311719 A 2022.11.08 CN 115311719 A 1.一种基于多阶注意力机制融合的人脸属性识别算法， 其特 征在于， 该算法包括： 响应于人脸检测方法和人脸对齐方法， 获取图像中的完整人脸区域， 并输出 人脸图像； 将获取的人脸图像输入至卷积神经网络模型中， 进一步提取该人脸图像的若干图像特 征进行训练并处 理； 以及 同时将获取的人脸图像的图像特征输入至多阶注意力机制融合网络模型中进行训练 和处理； 完成对该 人脸图像的属性识别。 2.根据权利要求1所述的基于多阶注意力 机制融合的人脸属性识别算法， 其特征在于， 所述卷积神经网络模型采用轻量化的MobileNetV2模型， 其中， 所述MobileNetV2模型包含8 个残差卷积块{b0,b1, …,b7}， 每个残差卷积块由深度可分离卷积层 ‑BN层‑激活层‑残差连 接层组成。 3.根据权利要求2所述的基于多阶注意力 机制融合的人脸属性识别算法， 其特征在于， 所述卷积神经网络模型提取 人脸图像的图像特 征的方式如下： F＝(B{Ii| θ1, θ2,…, θn}) 其中， B代表所述MobileNetV2模型的前向运算， Ii代表输入RGB图像， θ1, θ2,…, θn代表残 差卷积块的参数。 4.根据权利要求3所述的基于多阶注意力 机制融合的人脸属性识别算法， 其特征在于， 利用所述Mobi leNetV2模型对图像特 征进行训练并处 理包括： 将获取的图像特 征先经过一个全局池化层和分类层； 然后在BCE损失函数的约束下对所述Mobi leNetV2模型进行训练。 5.根据权利要求1所述的基于多阶注意力 机制融合的人脸属性识别算法， 其特征在于， 所述多阶注意力机制融合网络模型采用Transformer模型。 6.根据权利要求1所述的基于多阶注意力 机制融合的人脸属性识别算法， 其特征在于， 利用所述多阶注意力机制融合网络模型对人脸图像的图像特 征进行训练和处 理包括： 利用所述多阶注意力机制融合网络模型对人脸图像中的全局特 征信息进行建模； 将获取所述全局特征信 息作为所述多阶注意力 机制融合网络模型的输入， 经所述多阶 注意力机制融合网络模型进行编码； 在BCE损失函数的约束下对所述多阶注意力机制融合网络进行优化约束后输出。 7.根据权利要求3或6所述的基于多阶注意力 机制融合的人脸属性识别算法， 其特征在 于， 所述BC E损失函数如下 所示: 其中， N代表训练的图像 数， M代表人脸属性类别数， logitsij代表分类层的输出， yij代表 图像标签， σ(z)＝1/(1+e‑z)， ωj表达式如下： 整个算法的损失函数表示式如下：权　利　要　求　书 1/2 页 2 CN 115311719 A 2L＝lbce1+lbce2 其中， lbce1代表所述MobileNetV2模型的损失函数， lbce2代表所述多阶注意力机制融合 网络模型的损失函数， lbce1与lbce2的比例一 致。 8.一种基于多阶注意力机制融合的人脸属性识别系统， 其特 征在于， 包括： 获取模块： 用于根据人脸检测方法和人脸对齐方法， 获取图像中的完整人脸区域； 输入模块： 用于将获取的人脸图像输入至卷积神经网络模型中， 将获取的人脸图像的 图像特征输入至多阶注意力机制融合网络模型中； 输出模块： 用于 输出人脸图像以及输出 人脸图像的图像特 征； 提取模块： 用于对人脸图像的若干图像特 征进行提取； 训练与处 理模块： 用于对提取的图像特 征进行训练与处 理。 9.一种电子设备， 包括： 一个或多个处 理器； 存储装置， 用于存 储一个或多个程序； 当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实 现如权利要求1至7中任一所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至7中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115311719 A 3