(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210389990.7 (22)申请日 2022.04.14 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 周风余　范崇锋　刘进　尹磊　 陈建业　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 王雪 (51)Int.Cl. G06F 16/532(2019.01) G06F 16/55(2019.01) G06F 16/583(2019.01) G06F 40/216(2020.01)G06F 40/35(2020.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06N 20/00(2019.01) (54)发明名称 一种云服 务机器人的视 觉问答方法及系统 (57)摘要 本发明属于服务机器人视觉问答领域， 提供 了一种云服务机器人的视觉问答方法及系统， 包 括获取待查询的信息交互图片数据及其包含的 视觉信息； 基于改进后的视觉问答模型， 得到融 合预测结果； 将待查询的信息交互数据与融合预 测结果进行匹配， 得到最相似组的信息交互参考 预测结果， 并作为视觉问答系统的输出结果； 本 发明利用了偏差消除与对比学习方法的独特优 势， 更聚焦于图片中重要元素信息， 优化得分元 素占比， 充分利用参考样本信息， 强化实体嵌入， 消弭语义偏差， 改进服务机器人的视觉问答模 型， 从而提高了实际服务器人的人机交互问答的 准确性， 使得服 务器人的体验性更好。 权利要求书2页 说明书12页 附图6页 CN 114840697 A 2022.08.02 CN 114840697 A 1.一种云服 务机器人的视 觉问答方法， 其特 征在于， 包括： 获取待查询的信息交 互图片数据及其包 含的视觉信息； 基于改进后的视 觉问答模型， 得到融合预测结果； 将待查询的信 息交互数据与融合预测结果进行匹配， 得到最相似组的信 息交互参考预 测结果， 并作为视 觉问答系统的输出 结果； 其中， 改进后的视 觉问答模型， 包括： 消偏模块， 通过两次消除偏差将先验数据集中文本信息中最大概率分布的答案隐藏， 得到处理后的先验数据集中的文本信息； 对比学习 模块， 通过将待查询的信 息交互图片数据及其包含的视觉信 息与先验数据集 中的视觉信息进行对比学习， 提取图片信息； 词性提取模块， 通过提取问答句子中的关键物体名词， 通过提取到的关键物体名词对 图片信息进行聚焦定位， 得到 定位后的图片信息； 特征融合模块， 将处理后的先验数据集中的文本信息与定位后的图片信息进行融合， 得到融合预测结果。 2.如权利要求1所述的一种云服务机器人的视觉问答方法， 其特征在于， 所述通过两次 消除偏差将先验数据集中文本信息中最大概率分布的答案隐藏， 得到处理后的先验数据集 中的文本信息， 包括： 获取不同场景 下机器人视 觉问答的先验数据进行 特征编码， 得到语义预测概 率分布； 通过答案的出现次数形成候选答案集， 将每一个候选答案作为分类的标签， 输出语义 最高预测概 率分布； 基于消除偏差框架进行两次消除偏差的过程， 将最高预测概率分布项和次高预测概率 分布项隐藏， 得到二次消偏后预测分布概 率； 基于二次消偏后预测分布概 率， 得到处 理后的先验数据集中的文本信息 。 3.如权利要求2所述的一种云服务机器人的视觉问答方法， 其特征在于， 所述获取不同 场景下机器人视 觉问答的先验数据进行 特征编码， 得到语义预测概 率分布， 包括： 根据不同场景 下机器人语言信息统计先验知识， 得到 机器人视 觉问答的先验数据； 对机器人视 觉问答的先验数据进行 特征编码； 将特征编码后的机器人视 觉问答的先验数据转 化为语义预测概 率分布。 4.如权利要求2所述的一种云服务机器人的视觉问答方法， 其特征在于， 所述基于消除 偏差框架进行两次消除偏差的过程， 将最高预测概率分布项和次高预测 概率分布项隐藏， 得到二次消偏后预测分布概 率， 具体为： 基于一次消除偏差框架， 将语义预测概率分布中最高预测概率分布项隐藏， 得到一次 消偏后预测分布概 率； 基于二次消除偏差框架， 将一次消偏后预测分布概率中最高预测概率分布项隐藏， 得 到二次消偏后预测分布概 率。 5.如权利要求4所述的一种云服务机器人的视觉问答方法， 其特征在于， 所述 次高概率 分布项就是一次消偏后预测分布概 率中最高预测概 率分布项。 6.如权利要求1所述的一种云服务机器人的视觉问答方法， 其特征在于， 通过将待查询 的信息交互图片数据及其包含的视觉信息与 处理后的先验数据集中的视觉信息进行对比权　利　要　求　书 1/2 页 2 CN 114840697 A 2学习， 提取图片信息， 包括： 获取先验数据集中的图片 ‑问题样本对和待查询的图片 ‑问题样本对； 将先验数据集中包含的视觉信息与待查询的图片 ‑问题样本对中的视觉信息进行比 对； 提取图片信息 。 7.如权利要求1所述的一种云服务机器人的视觉问答方法， 其特征在于， 所述通过提取 到的关键物体名词对图片信息进行聚焦定位， 得到 定位后的图片信息， 包括： 使用两个注意力模块 提取问答句子中的上 下文特征； 使用两个注意力模块 提取问答句子中的视 觉语义特 征； 将提取的上 下文特征与视觉语义特 征连接， 得到关键物体名词表征； 将关键物体名词表征对图片信息进行聚焦定位， 得到 定位后的图片信息 。 8.一种云服 务机器人的视 觉问答系统， 其特 征在于， 包括： 数据获取模块， 被 配置为获取待查询的信息交 互图片数据及其包 含的视觉信息； 融合预测模块， 被 配置为基于改进后的视 觉问答模型， 得到融合预测结果； 匹配查找模块， 被配置为将待查询的信息交互数据与融合预测结果进行匹配， 得到最 相似组的信息交 互参考预测结果， 并作为视 觉问答系统的输出 结果； 其中， 改进后的视 觉问答模型， 包括： 消偏模块， 通过两次消除偏差将先验数据集中文本信息中最大概率分布的答案隐藏， 得到处理后的先验数据集中的文本信息； 对比学习 模块， 通过将待查询的信 息交互图片数据及其包含的视觉信 息与处理后的先 验数据集中的视 觉信息进行对比学习， 提取图片信息； 词性提取模块， 通过提取问答句子中的关键物体名词， 通过提取到的关键物体名词对 进行聚焦定位， 得到 定位后的图片信息； 特征融合模块， 将处理后的先验数据集中的文本信息与定位后的图片信息进行融合， 得到融合预测结果。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项所述的一种云服 务机器人的视 觉问答方法中的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的一 种云服务机器人的视 觉问答方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114840697 A 3