(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210991961.8 (22)申请日 2022.08.17 (71)申请人 中国地质环境 监测院 （自然资源部 地质灾害技 术指导中心） 地址 100081 北京市海淀区大慧寺20号 (72)发明人 朱赛楠　殷跃平　黄坚　杜博文　 佟彬　赵慧　涂博文　李鑫　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06Q 10/10(2012.01) G06Q 10/06(2012.01) G06K 9/62(2022.01) (54)发明名称 基于能力评价的滑坡众包标注结果评估及 任务分配方法 (57)摘要 本发明涉及一种基于能力评价的滑坡众包 标注结果评估及任务分配方法及系统， 其方法包 括： S1： 用户在 滑坡众包标注平台注册后， 回答不 同难度的测试问卷， 得到用户的初始能力值； S2： 用户接收标注任务， 并提交标注曲线； 利用共识 曲线生成方法融合所有用户的标注曲线， 得到初 始融合曲线； 剔除低质量标注曲线， 对剩余标注 曲线进行二次融合， 得到最终融合曲线； S3： 对最 终融合曲线进行修正， 得到用户的标注结果评 分， 并更新用户的能力值； S4： 根据用户的能力值 以及待标注任务的紧急度和难度为用户制定任 务推荐队列， 用户选择合适的任务进行标注。 本 发明提供的方法通过合理的任务 分配， 提升平台 标注质量， 降低审核工作量， 加速高质量滑坡标 注结果的产出。 权利要求书3页 说明书5页 附图2页 CN 115330346 A 2022.11.11 CN 115330346 A 1.一种基于能力评价的滑坡众包标注结果评估及任务分配方法， 其特 征在于， 包括： 步骤S1： 用户在滑坡众包标注平台注册后， 通过回答不同难度的测试问卷， 得到所述用 户的初始能力值； 步骤S2： 所述用户接收标注任务， 并提交标注曲线； 利用共识曲线生成方法融合所有用 户的标注曲线， 得到初始融合曲线； 根据所述初始融合曲线剔除低质量标注曲线， 对剩余所 述标注曲线 进行二次融合， 得到最终融合曲线； 步骤S3： 所述滑坡众包标注平台对所述最终融合曲线进行修正， 根据修正结果对所述 用户的标注结果评分， 并根据所述评分更新所述初始能力值， 得到用户的能力值； 步骤S4： 根据 所述用户的能力值以及待标注任务的紧急度和难度为所述用户制定任务 推荐队列， 所述用户根据所述任务推荐队列选择待完成的标注任务。 2.根据权利要求1所述的基于能力评价的滑坡众包标注结果评估及任务分配方法， 其 特征在于， 所述步骤S1： 用户在滑坡众包标注平台注册后， 通过回答不同难度的测试问卷， 得到所述用户的初始能力值， 具体包括： 步骤S11： 用户在滑坡众包标注平台注册后， 由标注任务的请求方提供低、 中、 高三个难 度的测试问卷； 步骤S12： 对所述用户的初始能力值进行初始化： 滑坡所属区域abilityarea＝0.5， 滑坡 类型abilitytype＝0.5， 滑坡标注难度abi litydifficulty＝0.5， 标注速度abi lityspeed＝1； 步骤S13： 根据所述用户的测试问卷的答题结果， 更新所述滑坡标注难度值 abilitydifficulty： 所述用户如果未通过低难度测试， 则abi litydifficulty＝0， 无法接收标注任务； 如果通过中难度测试， abi litydifficulty＝0.6； 如果通过高难度测试， abi litydifficulty＝0.7。 3.根据权利要求1所述的基于能力评价的滑坡众包标注结果评估及任务分配方法， 其 特征在于， 所述步骤S2： 所述用户接收标注任务， 并提交标注曲线； 利用共识曲线生成方法 融合所有用户的标注曲线， 得到初始融合 曲线； 根据所述初始融合 曲线剔除低质量标注曲 线， 对剩余所述标注曲线 进行二次融合， 得到最终融合曲线， 具体包括： 步骤S21： 计算出 单个用户的综合能力值A， 如公式(1)所示： A＝abilityarea*abilitytype*abilitydifficulty  (1) 对同一标注任 务， 收集所有 参与标注的用户的标注结果， 计算用户权重wi， 如公式(2)所 示： 步骤S22： 从所有参与所述标注任务的用户的标注曲线中任取两条曲线A、 B， 逐步进行 两两融合， 得到曲线C， 对于曲线A上的点a， 利用DTW算法找到曲线B上对应的点b， 生成一个 新的点c， c点的坐标由ab两点坐标根据所属曲线的用户权重加权平均得到， 如公式(3)所 示： c＝wa*a+wb*b  (3) 其中， a、 b、 c分别为点a、 b、 c对应的坐标， wa为曲线A对应用户权重， wb为曲线B对应用户 权重；权　利　要　求　书 1/3 页 2 CN 115330346 A 2根据公式(4)计算曲线C的权 重： wc＝wa+wb  (4) 步骤S23： 重复步骤S22， 将曲线C与下一个用户标注 曲线进行融合， 直到融合完所有用 户标注的曲线， 得到初始融合曲线； 步骤S24： 将每个用户的标注曲线与所述初始融合曲线进行对比， 计算用户标注评分， 去除低于阈值的所述标注曲线； 步骤S25： 将剩余的所述标注曲线重复步骤S22～S23， 进行二次融合， 得到最终融合曲 线。 4.根据权利要求3所述的基于能力评价的滑坡众包标注结果评估及任务分配方法， 其 特征在于， 所述 步骤S22中DTW算法， 具体包括： 步骤S221： 设两条曲线Q和C， 长度分别是n和m， Q和C上的每个点的值为其特征值； 构造 一个n*m的矩阵， 矩阵格点(i， j)表示Q上点i和C上点j的欧式距离d(i， j)； 寻找warping路径 从i出发经过所述矩阵到达j， 令 warping路径的第k个元素为Wk＝(i， j)k， 目标是寻找距离最 短的warpi ng路径， 如公式(5)所示： 其中， K为 warping路径上 元素个数； 步骤S222： 令每个所述矩阵格点(i， j)前进方向只 有三种： (i+1， j)、 (i， j+1)或(i+1， j+ 1)， 从(0， 0)点开始匹配Q和C， 每到一个点， 之前所有的经过的点的距离会根据公 式(6)进行 累加： γ(i， j)＝d(i， j)+mi n{γ(i‑1， j‑1)， γ(i‑1， j)， γ(i， j ‑1)  (6) 其中， γ(i， j)表示从矩阵(0， 0)到(i， j)的累积距离 。 5.根据权利要求4所述的基于能力评价的滑坡众包标注结果评估及任务分配方法， 其 特征在于， 所述 步骤S24中计算用户标注评分， 具体包括： 令初始融合曲线为Q和用户标注曲线为C， 则所述用户标注曲线C的评分为f(Q， C)， 其计 算公式(7)如下 所示： 其中， f(Q， C)∈(0， 1]； l(Q)为曲线Q的长度； Γ(Q， C)＝γ(n ‑1， m‑1)， 为曲线Q到C的最 小累积距离， n和m 分别是曲线O和C的长度。 6.根据权利要求5所述的基于能力评价的滑坡众包标注结果评估及任务分配方法， 其 特征在于， 所述步骤S 3： 所述滑坡众包标注平台对所述最 终融合曲线进 行修正， 计算所述用 户的标注结果评分， 并根据所述评分更新初始能力值， 得到用户的能力值， 具体包括： 步骤S31： 所述滑坡众包标注平台对所述最终融合曲线进行修正后， 并根据公式(7)更 新用户标注评分f(Q， C)； 步骤S32： 根据下述公式(8)， 更新用户能力值： 权　利　要　求　书 2/3 页 3 CN 115330346 A 3