(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210648678.5 (22)申请日 2022.06.09 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 徐世泽　陈晓旋　彭雨岚　陈晓霞　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 杨傥月 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/28(2019.01) G06F 16/2455(2019.01) G06F 16/242(2019.01) G06F 9/54(2006.01) (54)发明名称 一种批处 理任务执 行的方法及系统 (57)摘要 一种批处理任务执行的方法及系统， 涉及数 据处理技术领域、 分布式领域、 大数据领域以及 金融领域。 该方法包括： 对批处理任务对应的各 参数进行定义； 接收并校验批处理任务的调度系 统传递的参数， 当调度系统传递的参数被定义时 校验通过， 继续处理批处理任务； 否则校验失败， 批处理任务执行失败； 当校验通过时， 根据调度 系统传递的各参数提取逻辑表名， 并把逻辑表名 替换成物理数据表名， 以生 成含物理数据表名的 SQL； 根据逻辑表与物理数据表映射规则， 以及逻 辑库与物理数据库规则和含物理数据表名的 SQL， 形成Step  Chain； 执行Step  Chain以完成批 处理任务。 该方法 降低了所需的硬件资源， 并且 不存在多节点调度， 因此无需考虑多节点调度及 处理结果一致性的问题。 权利要求书2页 说明书10页 附图5页 CN 114969048 A 2022.08.30 CN 114969048 A 1.一种批处 理任务执 行的方法， 其特 征在于， 所述方法包括： 对批处理任务对应的各参数进行定义， 所述批处理任务对应的各参数中包括请求实体 类、 含逻辑表的结构化查询语言SQL、 逻辑表与物理数据表映射规则、 逻辑库与物理数据库 规则， 以及SQ L参数类型； 接收并校验批处理任务的调度系统传递的参数， 当所述调度系统传递的参数被定义 时 校验通过， 继续处 理所述批处 理任务； 否则校验失败， 批处 理任务执 行失败； 当校验通过时， 根据所述调度系统传递的各参数提取逻辑表名， 并把逻辑表名替换成 物理数据表名， 以生成含物理数据表名的SQ L； 根据所述逻辑表与物 理数据表映射规则， 以及所述逻辑库与物 理数据库规则和所述含 物理数据表名的SQ L， 形成步骤链Step  Chain； 执行所述Step  Chain以完成所述批处 理任务。 2.根据权利要求1所述的批处理任务执行的方法， 其特征在于， 所述批处理任务对应的 各参数还 包括： 任务名、 步骤名前缀、 数据块大小、 文本编码格式、 文本输出字段排序、 文本输出格式、 文本名前缀、 输出路径与文件传输协议。 3.根据权利要求2所述的批处理任务执行的方法， 其特征在于， 所述对批处理任务对应 的各参数进行定义， 具体包括： 以键值对key ‑value的形式定义所述批处 理任务对应的各参数。 4.根据权利要求1所述的批处理任务执行的方法， 其特征在于， 所述批处理任务对应n 个物理数据库， 每个所述物理数据库包括m 张物理数据 表， 所述n和m为大于1的整 数， 所述根 据所述逻辑表与 物理数据 表映射规则， 以及所述逻辑库与物理数据库规则和所述含物理数 据表名的SQ L， 形成步骤链， 具体包括： 步骤一： 定义 i＝1， 所述 i表示第i个物理数据库， 定义所述Step  Chain的内容为空； 步骤二： 判断i是否小于n， 若i>n， 则定义文件传输协议发送Step， 以形成所述Step   Chain； 若i<n， 则定义j＝1， 所述j表示第i个物理数据库上的第j张物理数据表； 步骤三： 判断j是否小于m， 若j>m， 则i增 加1， 跳转至所述 步骤一； 若j<m， 则定义step； 步骤四： 将定义的所述step加入所述Step  Chain， j增加1， 并跳转至所述 步骤三。 5.根据权利要求4所述的批处理任务执行的方法， 其特征在于， 所述若j<m， 则定义 step； 装载所述含物 理数据表名的SQL， 并装载所述含物理数据表名的SQL的参数以完成对所 述step的读处 理的定义； 对所述step的处 理机Proces sor和写处 理进行定义。 6.根据权利要求5所述的批处理任务执行的方法， 其特征在于， 所述执行所述步骤链以 完成所述批处 理任务， 具体包括： 执行所述Step  Chain以获取任务执 行结果； 将所述任务执 行结果发送至消息中间件； 当所述调度系统监 听到所述消息 中间件中接收到所述任务执行结果 时， 从所述消息中 间件中获取 所述任务执 行结果， 以完成所述批处 理任务。 7.根据权利要求6所述的批处 理任务执 行的方法， 其特 征在于， 所述方法还 包括：权　利　要　求　书 1/2 页 2 CN 114969048 A 2当所述Step  Chain中的前k个Step执行成功且第k+1个Step执行失败时， 所述批处理任 务执行失败， 所述 k为正整数且所述 k小于所述 n和m的乘积； 当再次执 行所述批处 理任务时， 从所述第k+1个Step开始执 行。 8.一种批处理任务执行的系统， 其特征在于， 所述系统包括： 加载校验单元、 入参校验 单元、 SQL解析重构单 元、 步骤拆分单 元以及执 行单元； 所述加载校验单元， 用于对批处理任务对应的各参数进行定义， 所述批处理任务对应 的各参数中包括请求 实体类、 含逻辑表的结构化查询语 言SQL、 逻辑表与 物理数据 表映射规 则、 逻辑库 与物理数据库规则， 以及SQ L参数类型； 所述入参校验单元， 用于接收并校验批处理任务的调度系统传递的参数， 当所述调度 系统传递的参数被定义时校验通过， 继续处理所述批处理任务； 否则校验失败， 批处理任务 执行失败； 所述SQL解析重构单元， 用于当校验通过时， 根据所述调度系统传递的各参数提取逻辑 表名， 并把逻辑表名替换成物理数据表名， 以生成含物理数据表名的SQ L； 所述步骤拆分单元， 用于根据所述逻辑表与物理数据表映射规则， 以及所述逻辑库与 物理数据库规则和所述含物理数据表名的SQ L， 形成步骤链Step  Chain； 所述执行单元， 用于执 行所述Step  Chain以完成所述批处 理任务。 9.根据权利要求7所述的批处理任务执行的系统， 其特征在于， 所述加载校验单元， 具 体用于以键值对key ‑value的形式定义所述批处 理任务对应的各参数。 10.根据权利要求7所述的批处理任务执行的系统， 其特征在于， 所述批处理任务对应n 个物理数据库， 每个所述物理数据库包括m 张物理数据 表， 所述n和m为大于1的整 数， 所述步 骤拆分单 元， 具体用于实现以下的步骤： 步骤一： 定义 i＝1， 所述 i表示第i个物理数据库， 定义所述Step  Chain的内容为空； 步骤二： 判断i是否小于n， 若i>n， 则定义文件传输协议发送Step， 以形成所述Step   Chain； 若i<n， 则定义j＝1， 所述j表示第i个物理数据库上的第j张物理数据表； 步骤三： 判断j是否小于m， 若j>m， 则i增 加1， 跳转至所述 步骤一； 若j<m， 则定义step； 步骤四： 将定义的所述step加入所述Step  Chain， j增加1， 并跳转至所述 步骤三。权　利　要　求　书 2/2 页 3 CN 114969048 A 3