(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210364098.3 (22)申请日 2022.04.07 (71)申请人 广东电网有限责任公司广州供电局 地址 510000 广东省广州市天河区体 育东 路108号 (72)发明人 李韫莛　梁东贵　曾宪毅　陈光辉　 梁哲辉　陈敏　李莹　 (74)专利代理 机构 北京盛凡佳华专利代理事务 所(普通合伙) 11947 专利代理师 华小明 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06Q 50/10(2012.01) (54)发明名称 一种基于人脸识别的营业厅快速服务方法 及系统 (57)摘要 本发明涉及一种基于人脸识别的营业厅快 速服务方法及系统， 获取当前服务客户的人脸图 像， 基于第一识别模型和第二识别模 型对当前服 务客户进行人脸识别， 能够快速完成当前服务客 户的身份认证， 以快速获取当前服务客户的客户 资料， 提高为当前服务客户办理业务的效率， 缩 短客户在营业厅办理业务的等待时间。 另外， 在 进行人脸识别时， 先利用计算量和识别精度较低 的第一识别模 型进行识别， 若识别出来不是仅有 一张相似图像， 则再利用计算量和识别精度较高 的第二识别模 型进行识别， 将用于人脸识别的具 有不同计算量和计算精度的识别模 型进行结合， 有利于加快人脸识别的平均速度， 并且保证人脸 识别的识别精度。 权利要求书3页 说明书6页 附图2页 CN 114926871 A 2022.08.19 CN 114926871 A 1.一种基于人脸识别的营业厅 快速服务方法， 其特 征在于， 所述快速服 务方法包括： 获取当前服 务客户的人脸图像； 将所述人脸图像输入至第一识别模型， 获取第一人脸特征； 计算所述第一人脸特征与 营业厅预先上传的客户人脸数据库中每一图像对应的特征之间的第一相似度， 并选取所述 第一相似度大于第一预设阈值的图像作为相似图像； 判断所述相似图像的数量是否为1； 若是， 则将所述相似图像对应的客户资料作为所述当前服务客户的客户资料传输至客 服终端； 若否， 则将所述人脸图像输入至第 二识别模型， 获取第 二人脸特征； 计算所述第 二人脸 特征与所述客户人脸数据库中每一图像对应的特征之 间的第二相似度， 并选取所述第二相 似度最高的图像作为目标图像； 所述第二识别模型的计算量和识别精度均大于所述第一识 别模型； 将所述目标图像对应的客户资料作为所述当前服 务客户的客户资料传输 至客服终端。 2.根据权利要求1所述的快速服务方法， 其特征在于， 在将所述人脸图像输入至第 一识 别模型之前， 所述快速服务方法还包括： 采用MTCNN网络对所述人脸图像进 行人脸检测对齐 处理， 得到预处 理后图像， 并将所述预处 理后图像作为 新的人脸图像。 3.根据权利要求1所述的快速服务方法， 其特征在于， 所述第 一识别模型和所述第 二识 别模型均为深度卷积神经网络； 所述第二识别模型比所述第一识别模型多 若干个卷积层。 4.根据权利要求3所述的快速服务方法， 其特征在于， 在将所述人脸图像输入至第 一识 别模型之前， 所述快速服务方法还包括对初始模型进 行训练， 得到识别模型的步骤； 所述初 始模型为第一初始模型或第二初始模型； 当所述初始模型为所述第一初始模型时， 所述识 别模型即为所述第一识别模型； 当所述初始模型为所述第二初始模型时， 所述识别模型即 为所述第二识别模型； 所述对初始模型进行训练， 得到识别模型 具体包括： 获取训练集； 所述训练集包括多张训练用图像； 构建初始模型； 利用所述训练集对所述初始模型进行训练， 得到识别模型。 5.根据权利要求4所述的快速服务方法， 其特征在于， 在利用所述训练集对所述初始模 型进行训练之前， 所述快速服务方法还包括： 对所述训练集进 行预处理， 得到预 处理后训练 集， 并将所述预处 理后训练集作为 新的训练集； 其中， 对所述训练集进行 预处理， 得到预处 理后训练集具体包括： 对所述训练集中的每一所述训练用图像进行归一化像素处理， 以将每一所述训练用图 像的像素值归一化到[ ‑1， 1]， 得到所述训练用图像对应的归一化后图像； 所有所述归一化 后图像组成归一 化后训练集； 对所述归一化后训练集中的每一所述归一化后图像进行数据增强， 得到所述归一化后 图像对应的增强后图像； 所有所述增强后图像组成预处 理后训练集。 6.根据权利要求5所述的快速服务方法， 其特征在于， 所述对所述归一化后训练集中的 每一所述归一化后图像进行数据增强， 得到所述归一化后图像对应的增强后图像具体包 括：权　利　要　求　书 1/3 页 2 CN 114926871 A 2采用多种变换方式对所述归一化后训练集中的每一所述归一化后图像进行变换， 得到 所述归一化后图像对应的多张变换后图像； 所述归一化后图像和所述归一化后图像对应的 多张变换后图像即为所述归一化后图像对应的增强后图像； 所述变换方式包括随机水平翻 转、 随机截 取、 颜色抖动、 图片缩放、 随机平移、 随机旋转、 添加噪声、 随机单应矩阵扰动和明 暗度调节。 7.根据权利要求4所述的快速服务方法， 其特征在于， 所述利用所述训练集对所述初始 模型进行训练， 得到识别模型 具体包括： 将所述训练集输入至所述初始模型进行特征提取， 得到所述训练集中每一所述训练用 图像对应的多个全局特 征； 对每一所述全局特 征进行分割， 得到所述训练用图像对应的多个局部特 征； 将所述训练用图像对应的多个全局特征进行融合， 得到所述训练用图像对应的融合特 征； 以每一所述训练用图像对应的多个全局特征、 多个局部特征和融合特征作为输入， 基 于损失函数计算损失值； 根据所述损失值对所述初始模型的网络参数进行调整， 得到调整后模型； 判断是否 达到预设迭代终止条件； 若是， 则以所述调整后模型作为识别模型， 结束迭代； 若否， 则以所述调整后模型作为初始模型， 返回 “将所述训练集输入至所述初始模型进 行特征提取”的步骤， 继续迭代。 8.根据权利要求1所述的快速服务方法， 其特征在于， 所述计算所述第 一人脸特征与 营 业厅预先上传的客户人脸数据库中每一图像对应的特 征之间的第一相似度具体包括： 计算所述第一人脸特征与营业厅预先上传的客户人脸数据库中每一图像对应的特征 之间的余弦距离或者欧氏距离， 所述 余弦距离或者所述欧式距离即为所述第一相似度。 9.根据权利要求1所述的快速服务方法， 其特征在于， 在选取所述第 一相似度 大于第一 预设阈值的图像作为相似图像之前， 所述快速服务方法还包括确定第一预设阈值， 具体包 括： 对于所述客户人脸数据库中的每一图像， 获取与 所述图像属于同一人的一张待识别图 像； 计算所述待识别图像与所述客户人脸数据库中的每一图像之间的第 三相似度， 并将所 述第三相似度的最大值作为所述待识别图像对应的第四相似度， 将所述第三相似度的次大 值作为所述待识别图像对应的第五相似度； 根据所有所述待识别图像对应的所述第四相似度和所述第五相似度计算第一预设阈 值。 10.一种基于人脸识别的营业厅 快速服务系统， 其特 征在于， 所述快速服 务系统包括： 人脸图像获取模块， 用于获取当前服 务客户的人脸图像； 相似图像识别模块， 用于将所述人脸图像输入至第 一识别模型， 获取第 一人脸特征； 计 算所述第一人脸特征与营业厅预先上传的客户人脸数据库中每一图像对应的特征之间的 第一相似度， 并选取 所述第一相似度大于第一预设阈值的图像作为相似图像； 判断模块， 用于判断所述相似图像的数量是否为1；权　利　要　求　书 2/3 页 3 CN 114926871 A 3