(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210377333.0 (22)申请日 2022.04.12 (71)申请人 中国电子科技 集团公司第十 研究所 地址 610000 四川省成 都市金牛区茶店子 东街48号 (72)发明人 杨阳　贾莹　薛丽惠　 (74)专利代理 机构 成都九鼎天元知识产权代理 有限公司 51214 专利代理师 周浩杰 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 一种跨异构计算引擎的大数据任务调度方 法、 设备及 介质 (57)摘要 本发明公开了一种跨异构计算引擎的大数 据任务调度方法、 设备及介质， 属于大数据领域， 包括步骤： S1， 定义任务工作流统一描述模型； S2， 可视化编排任务工作流； S3， 对任 务工作流进 行解析； S4， 将任务工作流按策略分发到调度服 务器上； S5， 下发任务工作流的作业到具体的计 算引擎上执行， 并管理任务工作流的执行状态。 本发明针对现有业务需求和技术发展不足之处， 解决了跨异构计算引擎的任务调度问题， 屏蔽了 大数据开发复杂性， 使用户能够专注 业务逻辑本 身， 提高了 工作效率。 权利要求书1页 说明书5页 附图1页 CN 114896054 A 2022.08.12 CN 114896054 A 1.一种跨异构计算引擎的大 数据任务调度方法， 其特 征在于， 包括以下步骤： S1， 定义任务工作流统一描述模型； S2， 可视化编排任务工作流； S3， 对任务工作流进行解析； S4， 将任务工作流按策略分发到调度服 务器上； S5， 下发任务工作流的作业到具体的计算引擎上 执行， 并管理任务工作流的执 行状态。 2.根据权利要求1所述的跨异构计算引擎的大数据任务调度方法， 其特征在于， 在步骤 S1中， 所述任务工作流中的节 点， 包括控制节点和计算节点， 控制节点用于表达业务流程逻 辑， 计算节点用于适配不同的计算引擎并完成计算执 行。 3.根据权利要求1所述的跨异构计算引擎的大数据任务调度方法， 其特征在于， 在步骤 S1中， 所述任务工作流统一模 型采用key/valu e格式文本文件作为统一描述文件； 任务工作 流节点设置全局唯一标识； 在计算节 点指明其计算类型； 计算节点包括功能配置信息； 当工 作流节点有依赖关系时在统一描述文件中指明节点间的依赖关系及依赖数据。 4.根据权利要求1所述的跨异构计算引擎的大数据任务调度方法， 其特征在于， 在步骤 S2中， 包括如下子步骤： S21， 将大 数据生产加工用到的业 务、 算法、 知识形成模型共享库； S22， 从模型共享库中导入 模型并抽象为可视化组件； S23， 对可视化组件进行操作； S24， 生成工作流统一描述文件， 持久化到任务工作流库中。 5.根据权利要求1所述的跨异构计算引擎的大数据任务调度方法， 其特征在于， 在步骤 S3中， 所述对 任务工作流 解析， 包括任务内解析和任务间解析； 任务内解析通过从任务工作流库中获取工作流统一描述文件， 解析并提前工作流执行 所需的作业计算引擎类型、 运行命令或脚本信息、 依赖信息、 作业执 行顺序； 任务间解析基于任务内解析的结果， 分析各个任务工作流的依赖关系， 确定各任务工 作流的执 行顺序。 6.根据权利要求1所述的跨异构计算引擎的大数据任务调度方法， 其特征在于， 在步骤 S4中， 包括子步骤： S41， 配置调度服 务器为集群模式； S42， 检测调度服务器集群的使用情况， 分析各调度服务器的压力， 将工作流任务分发 给压力最小的调度服 务器； S43， 调度服 务器将工作流中的各作业调度到具体的计算引擎上 执行。 7.根据权利要求1所述的跨异构计算引擎的大数据任务调度方法， 其特征在于， 在步骤 S5中， 通过插 件方式从不同类型的计算引擎上获取工作流作业的相应执 行状态数据。 8.根据权利要求6所述的跨异构计算引擎的大数据任务调度方法， 其特征在于， 所述调 度服务器集群的数量至少三个， 且调度策略设置为动态负载均衡策略。 9.一种计算机设备， 其特征在于， 包括处理器和存储器， 在存储器中存储有计算机程 序， 当所述计算机程序被处 理器加载并执 行如权利要求1～8中任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 在计算机可读存储介质中存储有计算机程 序， 当所述计算机程序被处 理器加载并执 行如权利要求1～8中任一项所述的方法。权　利　要　求　书 1/1 页 2 CN 114896054 A 2一种跨异构计算引擎的大数据任务调度方 法、 设备及介质 技术领域 [0001]本发明涉及大数据领域， 更为具体 的， 涉及一种跨异构计算引擎的大数据任务调 度方法、 设备及 介质。 背景技术 [0002]目前， 大型行业数据 中心进行建设时， 通常需要考虑海量异构高维数据的接入汇 聚、 分级存储、 联合生产和容灾备份等因素， 涉及多个物理位置不同的数据中心形成跨域 “一朵云”， 对外提供云和大数据服务。 为充分利用各家云厂商的优势服务， 又避免厂商绑 定， 择优采用了多个云厂商的大数据组件， 进而在进 行大数据生产时， 所需的数据资源往往 可能分布在技术体制不同的物理数据中心上， 如基于Hadoop的开源系云平台(如华为云 等)、 闭源系的阿里云等。 [0003]在数据生产过程中， 一个生产任务可能需要对开源系的Hive、 Spark、 Flink等， 或 闭源系的阿里Maxcompute等多种异构计算引擎进行组合调度使用， 以满足特定的业务需 求。 [0004]为实现跨中心的联合数据生产， 需要解决生产任务的跨异构计算引擎调度问题， 将任务调度到对应数据中心的计算引擎上执行， 保证生产需要的数据在哪里， 计算就在哪 里。 不同云厂商计算引擎的异构会带来任务调度的复杂性， 为适配不同厂商不同类型 的计 算引擎， 数据生产需要支持跨异构引擎的统一调度， 在数据生产执行时， 调用与之 匹配的计 算引擎来完成计算。 [0005]目前的计算引擎调度框架更侧重于对单类型计算引擎自身的调度优化， 从而实现 调度效率最大化。 Hive基于底层Hadoop平台封装了一层SQL， 利用Map Reduce框架进行大数 据处理； Spark基于内存计算进行微批流处理； Flink通过JobManger任务调度器管理Slot， 把任务分配到合 适的Slot等待执 行。 [0006]针对使用多种类型计算引擎的业务场景， 应用系统使用时存在以下3类问题： 1)系 统开发复杂， 需根据每类计算引擎特点进 行开发适配； 2)与特定厂商的大数据 平台紧耦合、 强绑定， 业务逻辑均 “硬编码”在应用系统中， 维护升级难度大； 3)大数据任务工作流不支持 多类型计算引擎的混合编排， 无法支持跨引擎的联合 生产。 发明内容 [0007]本发明的目的在于克服现有技术的不足， 提供一种跨异构计算引擎的大数据任务 调度方法、 设备及介质， 针对现有业务需求和技术发展不 足之处， 解决了跨异构 计算引擎的 任务调度问题， 屏蔽了大数据开发复杂性， 使用户能够专注业务逻辑本身， 提高了工作效 率。 [0008]本发明的目的是通过以下 方案实现的： [0009]一种跨异构计算引擎的大 数据任务调度方法， 包括以下步骤： [0010]S1， 定义任务工作流统一描述模型；说　明　书 1/5 页 3 CN 114896054 A 3