(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210381468.4 (22)申请日 2022.04.12 (71)申请人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 江中毅　刘备　张宏　陈立力　 周明伟　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 张恺宁 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种人像聚类方法、 装置、 设备及 介质 (57)摘要 本申请涉及视频监控技术领域， 具体涉及一 种人像聚类方法、 装置、 设备及介质， 用于提高人 像聚类的准确性。 该方法包括： 获取多个档案， 多 个档案是基于多张人像图片的相似度划分的， 人 像图片为乘 坐在车内的人脸图片， 每个档案所包 含的至少一张人像图片对应至少一个车辆； 根据 多个档案包含的多个车辆、 以及每个档案包含的 不同车辆对应的人像图片 的数量， 生成二部图； 将二部图、 多个档案关联的多个第一特征向量、 以及多个车辆关联的多个第二特征向量输入图 神经网络， 获得多个优化后的第一特征向量； 若 任意两个优化后的第一特征向量的相似度大于 聚类阈值， 则将任意两个优化后的第一特征向量 对应的两 个档案聚合 为一个档案 。 权利要求书2页 说明书13页 附图3页 CN 114863514 A 2022.08.05 CN 114863514 A 1.一种人像聚类方法， 其特 征在于， 包括： 获取多个档案， 其中， 所述多个档案是基于多张人像图片的相似度划分的， 所述人像图 片为乘坐在车内的人脸图片， 每 个档案所包 含的至少一张人像图片对应至少一个车辆； 根据所述多个档案包含的多个车辆、 以及每个档 案包含的不同车辆对应的人像图片的 数量， 生成二部图； 其中， 每个车辆对应的人像图片为每个档案中车牌号相同的人像图片， 所述二部图用于表示所述多个档案与所述多个车辆之间的关系； 将所述二部 图、 所述多个档案关联的多个第一特征向量、 以及所述多个车辆关联的多 个第二特征向量输入图神经网络， 获得多个优化后的第一特征向量； 其中， 每个第一特征向 量用于指示对应档案的属 性信息， 每个第二特征向量用于指示对应车辆的属 性信息， 所述 多个优化后的第一特征向量是所述多个第一特征向量融合了所述多个档案与所述多个车 辆之间的关系得到的； 若任意两个优化后的第 一特征向量的相似度 大于聚类阈值， 则将所述任意两个优化后 的第一特 征向量对应的两个档案聚合 为一个档案 。 2.如权利要求1所述的方法， 其特征在于， 根据所述多个档案包含的多个车辆、 以及每 个档案包 含的不同车辆对应的人像图片的数量， 生成二部图， 包括： 根据每个档案包含的不同车辆对应的人像图片的数量， 确定每个档案与不同车辆的关 系等级； 根据所述多个档案包含的多个车辆、 以及每个档案与不同车辆的关系等级， 生成二部 图。 3.如权利要求2所述的方法， 其特征在于， 将所述二部 图、 所述多个档案关联的多个第 一特征向量、 以及所述多个车辆关联的多个第二特征向量输入图神经网络， 获得多个优化 后的第一特 征向量， 包括： 将所述二部 图、 所述多个档案关联的多个第一特征向量、 以及所述多个车辆关联的多 个第二特征向量输入图神经网络， 输出所述多个档案与所述多个车辆之间的预测关系等 级； 其中， 所述图神经网络用于融合所述多个档案与所述多个车辆 之间的关系， 对所述多个 第一特征向量和所述多个第二特 征向量进行优化； 计算所述多个档案与所述多个车辆之间的实际关系等级与所述预测关系等级之间的 损失； 根据所述损失调整所述多个第 一特征向量和所述多个第 二特征向量， 直到所述损失达 到最小值， 获得多个优化后的第一特 征向量。 4.如权利要求1 ‑3任一项所述的方法， 其特征在于， 在若任意两个优化后的第 一特征向 量的相似度大于聚类阈值， 则将所述任意两个优化后的第一特征向量对应的两个档案聚合 为一个档案之前， 所述方法还 包括： 根据合档相似度阈值、 所述任意两个优化后的第一特征向量的相似度、 以及最大可调 的相似度阈值， 确定所述聚类阈值； 其中， 所述合档相似度阈值为基于所述多张人像图片的相似度确定两张人像图片是否 属于同一档案的相似度阈值， 所述最大可调的相似度阈值用于指示两个档案为同一档案的 相似度下限值， 所述合档相似度阈值与所述聚类阈值正相关， 所述任意两个优化后的第一 特征向量的相似度与所述聚类阈值负相关， 所述最大可调的相似度阈值与所述聚类阈值负权　利　要　求　书 1/2 页 2 CN 114863514 A 2相关。 5.如权利要求1 ‑3任一项所述的方法， 其特征在于， 在根据 所述多个档案包含的多个车 辆、 以及每个档案包含的不同车辆对应的人像图片的数量， 生成二部图之前， 所述方法还包 括： 若所述多个档 案中第一档案所包含的第 一人像图片中存在预设类型的车辆， 则删除所 述第一人像图片。 6.如权利要求1 ‑3任一项所述的方法， 其特征在于， 在根据 所述多个档案包含的多个车 辆、 以及每个档案包含的不同车辆对应的人像图片的数量， 生成二部图之前， 所述方法还包 括： 若所述多个档 案中第二档案所包含的至少一张人像图片中的车牌号均相同， 则删除所 述第二档案 。 7.一种人像聚类装置， 其特 征在于， 包括： 获取模块， 用于获取多个档案， 其中， 所述多个档案是基于多张人像图片的相似度划分 的， 所述人像图片为乘坐在车内的人脸图片， 每个档案所包含的至少一张人像图片对应至 少一个车辆； 生成模块， 用于根据所述多个档案包含的多个车辆、 以及每个档案包含的不同车辆对 应的人像图片的数量， 生成二部图； 其中， 每个车辆对应的人像图片为每个档案中车牌号相 同的人像图片， 所述 二部图用于表示所述多个档案与所述多个车辆之间的关系； 获得模块， 用于将所述二部图、 所述多个档案关联的多个第 一特征向量、 以及所述多个 车辆关联的多个第二特征向量输入图神经网络， 获得多个优化后的第一特征向量； 其中， 每 个第一特征向量用于指示对应档案的属性信息， 每个第二特征向量用于指示对应车辆的属 性信息， 所述多个优化后的第一特征向量是所述多个第一特征向量融合了所述多个档案与 所述多个车辆之间的关系得到的； 聚合模块， 用于若任意两个优化后的第一特征向量的相似度大于聚类阈值， 则将所述 任意两个优化后的第一特 征向量对应的两个档案聚合 为一个档案 。 8.如权利要求7 所述的装置， 其特 征在于， 所述 生成模块具体用于： 根据每个档案包含的不同车辆对应的人像图片的数量， 确定每个档案与不同车辆的关 系等级； 根据所述多个档案包含的多个车辆、 以及每个档案与不同车辆的关系等级， 生成二部 图。 9.一种人像聚类设备， 其特 征在于， 包括： 存储器， 用于存 储程序指令； 处理器， 用于调用所述存储器中存储的程序指令， 按照获得的程序指令执行权利要求 1‑6中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序包括程序指 令， 所述程序指 令当被计算机执行时， 使 所述计算机执行如 权利要求1 ‑6中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114863514 A 3