(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210173809.9 (22)申请日 2022.02.24 (71)申请人 郑州大学 地址 450000 河南省郑州市高新 技术开发 区科学大道100号 (72)发明人 薛均晓　翟蓝航　石磊　高宇飞　 刘成明　 (74)专利代理 机构 北京集智东方知识产权代理 有限公司 1 1578 专利代理师 陈攀 (51)Int.Cl. G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于协同神经网络的虚假新闻检测方 法 (57)摘要 本发明适用 于计算机视觉与图形图像处理 技术领域， 提供了一种基于协同神经网络的虚假 新闻检测方法， 包括文本特征提取模块、 视觉语 义特征提取模块、 视觉篡改特征提取模块、 相似 性度量模块和多模态融合模块， 还如下步骤： 步 骤S1： 文本 特征提取模块和视觉语义特征提取模 块负责提取文本和视觉的语义特征， 并将它们映 射到同一空间； 步骤S2： 视觉篡改特征提取模块 负责提取视觉物理特征和篡改特征； 通过五个子 网络的共同工作， 很好地捕捉了多模态新闻数据 中不同模态数据的相似性、 文本和图像的语义层 次特征以及视觉模式的一些物理层次特征， 使 得 在复杂场景下的虚假新闻检测比现有模型更适 合。 权利要求书1页 说明书5页 附图2页 CN 114662497 A 2022.06.24 CN 114662497 A 1.一种基于协同神经网络的虚假新闻检测方法， 其特征在于： 包括文本特征提取模块、 视觉语义特征提取模块、 视觉篡改特征提取模块、 相似性度量模块和多模态融合模块， 还如 下步骤： 步骤S1： 文本特征提取模块和视觉语义特征提取模块负责提取文本和视觉的语义特 征， 并将它 们映射到同一空间； 步骤S2： 视 觉篡改特 征提取模块负责提取视 觉物理特 征和篡改特 征； 步骤S3： 相似性度量模块针对图像与文本不匹配的问题可以直接度量出新闻多模式数 据的相似度。 2.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法， 其特征在于： 所述 文本特征提取模块中， 采用BERT预训练模型提取文本特征， 使用BiGRU提取BERT提取的特 征， BiGRU提取文本特 征的时间属性， 并将文本特 征转化为文本特 征序列。 3.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法， 其特征在于： 所述 视觉语义特征提取模块中， 将卷积神经网络的输出作为图像的低层特征， 再与篡改检测部 分融合。 4.如权利要求3所述的一种基于协同神经网络的虚假新闻检测方法， 其特征在于： 通过 ResNet50预训练模型对输入图像进行编码， 在预训练的ResNet50模型的分类层之前， 使用 1024维全连通层对图像特 征进行编码。 5.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法， 其特征在于： 所述 视觉篡改特征提取模块中， 通过视觉变换或篡改对图像进行信息处理， 并应用ResNet50模 型提取图像篡改特 征。 6.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法， 其特征在于： 所述 相似性度量模块中， 通过视觉语义特征提取模块和文本特征提取模块得到文本和图像的矢 量表示。 7.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法， 其特征在于： 所述 多模态融合模块中， 通过文本特征提取模块、 视觉语义特征提取模块、 视觉篡改特征提取模 块、 相似性度量模块得到图像和文本的融合特 征， 并赋予注意权 重。 8.如权利要求7所述的一种基于协同神经网络的虚假新闻检测方法， 其特征在于： 所述 多模态融合模块中， 利用注意机制为物理层次结构分配权重图像特征以及图像和文本的语 义层次特 征。权　利　要　求　书 1/1 页 2 CN 114662497 A 2一种基于协同神经 网络的虚假新 闻检测方 法 技术领域 [0001]本发明属于计算机视觉与图形图像处理技术领域， 尤其涉及一种基于协同神经网 络的虚假 新闻检测方法。 背景技术 [0002]基于机器学习的方法， 该方法首先利用特征工程提取情感极性、 用户影响、 地理位 置， 然后利用训练决策树、 支持向量机等分类器将事件分为假新闻和真新闻。 之后根据情感 得分， 微博 上网址的数量、 用户注 册的天数等特 征采用决策树 来检测谣言的算法。 [0003]基于深度学习的单模态方法， 该方法通过深度学习模型自动构造深层特征来实现 对于虚假新闻的检测， 该方法能够提高对于虚假新闻的检测精度， 但是忽略了作为多模态 数据集合的新闻所具有的多模态数据特征， 从而致使虚 假新闻的文本和视觉信息无法被有 效利用。 [0004]基于深度学习的多模态方法， 该方法利用了一种图像 ‑文本一致性驱动的多模态 方法来分析社 交媒体的情感， 一种新的注意递归神经网络以及视觉融合的动态可解释性推 荐。 该方法主要解决的是如何整合不同形式的信息但是因为该模型采用了预先训练好的图 像描述生成模型导致其不能直接计算多模态数据的相似度， 因此极大地限制了场景的使 用。 [0005]直接衡量跨模式数据相似度的方法， 该方法在虚假新闻检测中用于检测假新闻图 片和文本的相似度， 并将其作为多模态数据中假 新闻识别特 征的一部分。 [0006]分支网络， 设计一个分支网络是为了更好地提取视觉语义向量以获得更好的图像 语义表达进 而可以更好 地捕捉假新闻在视 觉表达中的语义特 征。 [0007]误差水平分析算法、 卷积神经网络， 这两种技术是为了在物理层面上能够更好地 判断新闻图片的真实性。 发明内容 [0008]本发明提供一种基于协同神经网络的虚假 新闻检测方法， 旨在解决上述问题。 [0009]本发明是这样实现的， 一种基于协同神经网络 的虚假新闻检测方法， 包括文本特 征提取模块、 视觉语义特征提取模块、 视觉篡改特征提取模块、 相似性度量模块和多模态融 合模块， 还如下步骤： [0010]步骤S1： 文本特征提取模块和视觉语义特征提取模块负责提取文本和视觉的语义 特征， 并将它 们映射到同一空间； [0011]步骤S2： 视 觉篡改特 征提取模块负责提取视 觉物理特 征和篡改特 征； [0012]步骤S3： 相似性度量模块针对图像与 文本不匹配的问题可以直接度量出新闻多模 式数据的相似度。 [0013]优选的， 所述文本特征提取模块中， 采用BERT预训练模型提取文本特征， 使用 BiGRU提取BERT提取的特征， BiGRU提取文本特征的时间属性， 并将文本特征转化为文本特说　明　书 1/5 页 3 CN 114662497 A 3