(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210913815.3 (22)申请日 2022.08.01 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 中国科学院大学 (72)发明人 杨晨　王颍超　兰舒琳　祝烈煌　 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06F 40/216(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/30(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于图像式中间态的多模态数据融合 决策方法 (57)摘要 本发明公开了一种基于图像式中间态的多 模态数据融合决策方法， 包括确定决策任务涉及 的多模态数据； 设计多模态数据统一转换为图像 模态数据的方法； 面向决策任务获取多模态样本 数据， 并统一为图像模态以构造训练集和测试 集； 基于训练集和测试集， 训练融合注意力机制 的多通道深度神经网络； 采集用于决策的多模态 数据， 并统一转换为图像模态以构造决策数据 集； 将决策数据集输入多通道深度神经网络进行 特征自适应提取与融合决策。 本发 明既避免了多 特征提取模型导致的复杂网络设计和大量参数 寻优问题， 又可方便地、 仅使用一个硬件加速设 备来完成快速的神经网络计算； 增强深度神经网 络各通道 提取特征的交互性和互补性； 减少冗余 特征的输入。 权利要求书2页 说明书9页 附图2页 CN 115393678 A 2022.11.25 CN 115393678 A 1.一种基于图像式 中间态的多模态数据融合决策 方法， 包括以下步骤： 确定决策任务涉及的多模态数据； 设计多模态数据统一 转换为图像模态数据的方法； 面向任务获取多模态样本数据， 并统一 为图像模态以构造训练集和 测试集； 基于训练集和 测试集， 设计和训练融合注意力机制的多通道深度神经网络； 采集用于决策的多模态数据， 并统一 为图像模态以构造决策 数据集； 将决策数据集输入多通道深度神经网络进行 特征自适应提取与融合决策。 2.根据权利要求1所述方法， 其特 征在于， 确定决策任务涉及的多模态数据， 包括： 面向决策任务需求， 结合实际场景条件， 综合考虑数据可获得性、 可用性、 可靠性， 确定 用于决策任务的多模态数据， 可选的多模态数据包括日志/文档等文本数据、 振动信号/声 信号/电流信号 等信号数据、 RGB图像/RGB ‑D图像/红外图像等图像数据、 视频 数据等。 3.根据权利要求1所述方法， 其特征在于， 设计多模态数据统一转换为图像模态数据的 方法， 包括： 对多模态数据进行 预处理； 将预处理后的多模态数据转换为图像模态数据。 4.根据权利要求3所述方法， 其特 征在于， 对多模态数据进行 预处理， 包括： 可选的， 对于文本数据， 在一种可实现方式中， 使用正则清洗文本数据， 剔除脏数据和 进行指定条件的数据筛 选； 可选的， 对于时域信号数据， 在一种可实现方式 中， 利用小 波分解进行降噪处 理； 可选的， 对于图像和视频 数据， 在一种可实现方式 中， 利用滤波器进行降噪处 理。 5.根据权利要求3所述方法， 其特征在于， 将预处理后的多模态数据转换为图像模态数 据， 包括： 可选的， 对于文本数据， 在一种可实现方式中， 统计文本中词频数据， 将文本数据转换 为一维词频 数据， 并将一维词频 数据归一 化为灰度值， 排列为 二维矩阵以转换为灰度图像； 可选的， 对于信号数据， 在一种可实现方式中， 通过傅里叶变换从预处理后的时域信号 数据中获取频域信息， 将所述时域信号数据与频域数据归一化为灰度值， 并排列为二维矩 阵以转换成灰度图像； 在一种可实现方式中， 通过短时傅里叶变换或小波变换或S 变换等时 频分析方法， 将预处 理后的时域信号数据转换为 二维时频图； 可选的， 对于视频数据， 在一种可实现方式中， 从预处理后的视频数据中提取关键帧； 在一种可实现方式 中， 从预处 理后的视频 数据中提取二维光 流场图。 6.根据权利要求1所述方法， 其特征在于， 面向任务获取多模态样本数据， 并统一为图 像模态以构造训练集和 测试集， 包括： 在同一时间段内， 面向同一对象或场景， 采集决策任务涉及的多模态样本数据； 基于上述多模态数据统一转换为图像模态数据的方法， 将采集的多模态样本数据统一 为图像模态数据； 对统一之后的图像模态数据集进行 标注， 并将其划分为训练集和 测试集。 7.根据权利要求1所述方法， 其特征在于， 基于训练集和测试集， 设计和训练融合注意 力机制的多通道深度神经网络， 包括： 设计融合注意力 机制的多通道深度神经网络， 注意力 机制包括通道注意力 机制和空间权　利　要　求　书 1/2 页 2 CN 115393678 A 2注意力机制； 基于训练集和 测试集， 对融合注意力机制的多通道深度神经网络进行训练和调整。 8.根据权利要求1所述方法， 其特征在于， 采集用于决策的多模态数据， 并统一为图像 模态以构造决策 数据集， 包括： 在同一时间段内， 面向同一对象或场景， 采集待决策的多模态数据； 基于上述多模态数据统一转换为图像模态数据的方法， 将采集的多模态数据统一为图 像模态数据， 组成决策 数据集。 9.根据权利要求1所述方法， 其特征在于， 将决策数据集输入多通道深度神经网络进行 特征自适应提取与融合决策， 包括： 将统一为图像模态的决策数据集输入已训练好的融合注意力机制的多通道深度神经 网络进行 特征自适应提取与决策， 输出决策 结果。权　利　要　求　书 2/2 页 3 CN 115393678 A 3