(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211029946.1 (22)申请日 2022.08.26 (71)申请人 山东心法科技有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号市南软件园1 1号楼A座5层504室 (72)发明人 宋业臻　肖维斌　韩伟　曲继新　 (74)专利代理 机构 济南千慧专利事务所(普通 合伙企业) 37232 专利代理师 王敏 (51)Int.Cl. G06Q 10/06(2012.01) G06N 7/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 40/70(2022.01)A61B 5/024(2006.01) A61B 5/16(2006.01) (54)发明名称 一种基于多模态融合的职 业规划辅助方法、 设备及介质 (57)摘要 本申请公开了一种基于多模态融合的职业 规划辅助方法、 设备及介质， 涉及专门适用于行 政管理的数据处理领域， 方法包括： 获取用户对 应的专业信息； 向用户展示第一图像， 得到用户 对应的职业兴趣指标； 向用户展示第二图像， 得 到用户对应的职业知识技能指标； 获取用户进行 自我介绍的视频数据， 以得到用户对应的职业性 格指标； 基于建立的贝 叶斯模型， 得到用户对应 的职业稳定性和绩效增长率对应的各分数值的 概率， 并根据概率最高的分数值进行职业规划。 能够更加全面的对用户的真实想法进行识别。 并 且针对不同的因素， 通过用户的生理特征的反应 等方式进行获取， 规避了用户主观心理想法对识 别结果的影响， 保证了识别过程的规范化， 提高 了识别效率。 权利要求书3页 说明书9页 附图2页 CN 115358605 A 2022.11.18 CN 115358605 A 1.一种基于多模态融合的职业 规划辅助方法， 其特 征在于， 包括： 获取用户对应的专业信息； 向所述用户展示第一图像， 所述第一图像包含多个类型的职业活动场景， 并根据采集 的所述用户观看所述第一图像时的头部姿态数据、 面部表情数据， 确定所述用户对各职业 活动的第一反应， 并根据所述第一反应得到所述用户对应的职业兴趣指标； 向所述用户展示第二图像， 所述第二图像包含多个类型的职业知识技能场景， 并根据 采集的所述用户观看所述第二图像时的眼动数据、 心率数据， 确定用户对各职业知识技能 的第二反应， 并根据所述第二反应得到所述用户对应的职业知识技能指标； 获取所述用户进行自我介绍的视频数据， 并根据 所述视频数据采集所述用户进行自我 介绍时的影 像特征、 语音特 征， 以得到所述用户对应的职业 性格指标； 基于建立的贝叶斯模型， 通过所述专业信 息、 所述职业兴趣指标、 所示职业知识技能指 标、 所述职业性格指标的分布特征， 得到所述用户对应的职业稳定性和绩效增长率对应的 各分数值的概 率， 并根据概 率最高的分数值进行职业 规划。 2.根据权利要求1所述的方法， 其特征在于， 根据采集的所述用户观看所述第 一图像时 的头部姿态数据、 面部表情数据， 确定所述用户对各职业活动的第一反应， 具体包括： 采集所述用户观看所述第一图像时的头 部姿态数据、 面部表情数据； 将所述头部姿态数据、 所述面部表情数据进行特征提取， 并根据提取到的特征进行特 征融合； 将融合后的特征输入至预先训练的神经网络模型中， 输出得到所述用户对各职业活动 的第一反应， 所述第一反应包括趋 近、 回避、 无反应中的至少一种。 3.根据权利要求2所述的方法， 其特征在于， 将所述头部姿态数据、 所述面部表情数据 进行特征提取， 并根据提取到的特 征进行特征融合， 具体包括： 对所述头部姿态数据进行位置信息计算， 得到其在三维空间中的定位信息， 作为所述 头部姿态数据对应的特 征， 所述定位信息包括 三个维度的向量； 对所述面部表情数据进行类型计算， 得到其在积极程度、 活跃程度两个维度上的向量， 作为所述 面部表情数据对应的特 征； 分别提取所述头部姿态数据对应的特征、 所述面部表情数据对应的特征中各维度的向 量， 并将提取到的各维度的向量进行融合。 4.根据权利要求2所述的方法， 其特征在于， 根据 所述第一反应得到所述用户对应的职 业兴趣指标， 具体包括： 针对同一种类型的职业活动场景对应的第 一图像， 若所述用户在第 一预设数量的第 一 图像的第一反应均为无反应， 则继续向所述用户展示同一种类型 的第一图像， 直至达到第 二预设数量； 若所述第二预设数量的第 一图像的第 一反应均为无反应， 则确定所述用户对该职业类 型的职业兴趣指标为中等。 5.根据权利要求1所述的方法， 其特征在于， 所述眼动数据包括： 瞳孔扩 张程度、 扫视模 式， 所述心率数据包括： 心率、 心率变异性； 根据采集的所述用户观看所述第二图像时的眼动数据、 心率数据， 确定用户对各职业 知识技能的第二反应， 具体包括：权　利　要　求　书 1/3 页 2 CN 115358605 A 2若所述瞳孔扩张程度持续增大、 所述心率升高、 所述心率变异性降低且所述扫视模式 为逐行扫视， 则确定所述用户对所述第二图像对应的职业知识技能的第二反应为有难度； 若所述瞳孔扩 张程度只在第 一预设时间短暂增大、 所述心率只在第 二预设时间短暂升 高且所述扫视模式为快速扫视， 则确定所述用户对所述第二图像对应的职 业知识技能的第 二反应为无难度。 6.根据权利要求1所述的方法， 其特征在于， 根据 所述视频数据采集所述用户进行自我 介绍时的影 像特征、 语音特 征， 以得到所述用户对应的职业 性格指标， 具体包括： 根据所述视频数据采集所述用户进行自我介绍时的影像特征、 语音特征， 其中， 所述影 像特征为基于多维向量在时间序列上的分布特征， 所述语音 特征基于MFCC算法进 行特征提 取得到； 将所述影 像特征和所述语音特 征进行特征融合； 将融合后的特征输入至随机森林模型中， 输出得到所述自我介绍对应的多项人格指标 因素， 所述 随机森林模型 的构造参数 由预先采集的 已标注的样本， 与专家经验对应的投票 计分之间的吻合度最高时的参数确定； 根据所述多 项人格指标因素， 得到所述用户对应的职业 性格指标。 7.根据权利要求1所述的方法， 其特征在于， 基于建立的贝叶斯模型， 通过所述专业信 息、 所述职业兴趣指标、 所示职业知识技能指标、 所述职业性格指标的分布特征， 得到所述 用户对应的职业稳定性和绩效增长率对应的各分数值的概率， 并根据概率最高的分数值进 行职业规划， 具体包括： 在预先设置的数据集中， 添加第 一行向量， 所述第 一行向量中包括所述专业信 息、 所述 职业兴趣指标、 所示职 业知识技能指标、 所述职 业性格指标， 并在所述第一行向量中添加职 业稳定性、 绩效增长率， 得到第二行向量； 建立贝叶斯推断模型， 通过所述第一行向量中的各向量的分布特征， 推断得到得到所 述职业稳定性、 所述绩效增长率的各分数值的概率， 并确定概率最高时， 所述第一行向量中 各指标对应的数值， 以根据所述各指标分别对应的数值的结论， 提取对应的内容描述， 作为 推荐的职业岗位。 8.根据权利要求1所述的方法， 其特 征在于， 获取用户对应的专业信息， 具体包括： 获取用户输入的待识别数据； 若所述待识别数据为所述用户在预设的多个预设选项中选择出的选项， 则根据 所述选 择出的选项对应的专业类， 确定所述用户对应的专业信息； 若所述待识别数据为用户输入的文本数据， 则对所述文本数据进行噪声消除后， 通过 模糊匹配以及精确匹配确定所述用户对应的专业信息 。 9.一种基于多模态融合的职业 规划辅助设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够： 获取用户对应的专业信息； 向所述用户展示第一图像， 所述第一图像包含多个类型的职业活动场景， 并根据采集权　利　要　求　书 2/3 页 3 CN 115358605 A 3