(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210304280.X (22)申请日 2022.03.25 (71)申请人 西安工程大 学 地址 710048 陕西省西安市临潼区陕鼓大 道 (72)发明人 王九鑫　刘嫚　苏耀恒　姚家辉　 陈琳　林钧昊　解淑婷　卢定泽　 郝红娟　 (74)专利代理 机构 北京中索 知识产权代理有限 公司 11640 专利代理师 翁松青 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/762(2022.01)G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于YOL Ov3和Fac eNet的多人脸识别方 法 (57)摘要 本发明公开了一种基于YOL Ov3和Fac eNet的 多人脸识别方法， 包括以下步骤： 步骤S1.建立数 据库； 步骤S2.采集视频并输送视频帧； 步骤S3. 缩放图片； 步骤S4.将图片送入两个并行的轻量 化YOLOv3的端到端人脸检测网络并与LBP特征进 行特征融合； 步骤S5.对得到的两组feature  map 进行坐标融合； 步骤S6.将得到的feature  map输 入facenet进行编码， 生成人脸特征向量； 步骤 S7.将得到的人脸特征向量与数据库中的人脸特 征向量进行对比得到相似度， 输出最终结果。 本 发明采用YOLOv3的主干网络替换成轻量化的网 络Mob i l eNetv3进行人脸检测， 降低网络复杂 度， 减少模型参数， 提高检测速度。 权利要求书2页 说明书4页 附图2页 CN 114663949 A 2022.06.24 CN 114663949 A 1.一种基于 YOLOv3和FaceNet的多人脸识别方法， 其特 征在于， 包括以下步骤： 步骤S1.建立数据库； 步骤S2.采集视频并输送视频帧； 步骤S3.缩放图片； 步骤S4.将图片送入两个并行的轻量化YOLOv3的端到端人脸检测网络并与LBP特征进 行特征融合； 步骤S5.对得到的两组feature  map进行坐标融合； 步骤S6.将得到的feature  map输入facenet进行编码， 生成人脸特 征向量； 步骤S7.将得到的人脸特征向量与数据库中的人脸特征向量进行对比得到相似度， 输 出最终结果。 2.根据权利要求1所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 步骤 S1中的数据库是指要识别的所有人脸的数据库， 并通过裁剪、 旋转和随机擦除进行数据扩 充， 丰富数据集。 3.根据权利要求1所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 步骤 S1中的数据集中训练集： 测试集 ＝7:3。 4.根据权利要求1所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 步骤 S2中的图片缩放 为416*416的尺寸。 5.根据权利要求1所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 所述 步骤S4中的模型 结构如下： A1.采用K ‑means聚类选取适 合人脸长 宽比的anc hor； A2.主干网络采用多个se模块和hwish激活函数激活的轻量化网络mobi  lenetv3替换 Darknet‑53； A3.下采样至最小尺寸， 即13*13的fe ature map， 与13*13的LBP 特征融合后输出作为较 大目标检测的检测框； A4.对13*13的fe ature map进行上采样并与主干网络中尺寸同为26*26的fe ature map 进行叠加， 与26 *26的LBP特 征融合后输出中型目标的检测框； A5.对13*13的fe ature map进行两次上采样并与主干网络中尺寸同为54*54的fe ature  map进行叠加， 与54* 54的LBP特 征融合后输出较小目标的检测框 。 6.根据权利要求1所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 所述 步骤S5中的坐标融合采用取两组数据(C、 X、 Y、 W、 H)均值的方法。 7.根据权利要求1所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 根据 YOLOv3检测获得的人脸坐标进行局部图片的截取， 对得到的局 部图片进行处理， 即光线补 偿、 仿射变换。 8.根据权利要求7所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 利用 facenet对已知数据库中的所有人脸进行编码， 得到其对应的特 征向量。 9.根据权利要求1所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 所述 步骤S6中将得到的feature  map输入facenet进行编码， 生 成人脸特征向量的实现过程中的 深度学习架构采用Go ogleNet。 10.根据权利 要求1所述的基于YOLOv3和FaceNet的多人脸识别方法， 其特征在于， 利用权　利　要　求　书 1/2 页 2 CN 114663949 A 2facenet对已知数据库中的所有人脸进行编码， 得到其对应的特征向量， 采用sklearn内置 的SVM分类 器对人脸相似度进行二分类， 得到最终检测结果。权　利　要　求　书 2/2 页 3 CN 114663949 A 3