(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210297974.5 (22)申请日 2022.03.25 (65)同一申请的已公布的文献号 申请公布号 CN 114399719 A (43)申请公布日 2022.04.26 (73)专利权人 合肥中科融道智能科技有限公司 地址 230000 安徽省合肥市高新区习友路 2666号中科院合肥技术创新工程院1 号楼416-C (72)发明人 刘术娟　张洁　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 张祥骞 (51)Int.Cl. G06V 20/40(2022.01)G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G08B 17/12(2006.01) 审查员 杨静 (54)发明名称 一种变电站火灾视频监测方法 (57)摘要 本发明涉及一种变电站火灾视频监测方法， 与现有技术相比解决了对于变电站监测视频图 像中小尺度明火和烟雾的识别精度低、 对火灾预 警不精准的缺陷。 本发明包括以下步骤： 变电站 视频监测数据的获取； 构建并训练多尺度区域图 像提取网络； 构建并训练变电站火灾检测模型； 变电站实时视频数据的获取； 变电站火灾视频的 监测预警。 本发明通过多尺度特征融合网络， 有 效地学习到变电站视频图像中丰富的小尺度明 火和烟雾区域特征； 并利用级联区域卷积神经网 络， 准确判断视频图像中是否有明火或者烟雾， 以及明火和烟雾区域的位置和大小。 权利要求书3页 说明书7页 附图2页 CN 114399719 B 2022.06.17 CN 114399719 B 1.一种变电站火灾视频监测方法， 其特 征在于， 包括以下步骤： 11） 变电站视频监测数据的获取： 获取变电站视频数据， 并提取每一帧静态图像数据， 随机选择明火或烟雾图像， 并选取与所选图像对应的明火或烟雾区域位置坐标信息和对应 标签， 将其作为训练集； 12） 构建并训练多尺度区域图像提取网络： 基于特征提取网络构建多尺度区域图像提 取网络， 将获取 的变电站静态图像输入到多尺度区域图像提取网络进行训练， 并从中提取 出明火或烟雾图像的特 征图像； 所述构建并训练多尺度区域图像提取网络包括以下步骤： 121） 设定多尺度区域图像提取网络包括深度残差网络和多尺度特征融合网络， 其中， 深度残差网络作为图像特征提取网络的基准网络， 设定深度 残差网络提取的明火图像特征 输入多尺度特征融合网络， 以提取丰富的变电站区域明火或烟雾图像的小尺度和大尺度特 征信息； 122） 设定多尺度特 征融合网络包括 三个并列的网络分支， 其中， 第一个网络分支是卷积核大小为 的标准卷积和卷积核大小为 、 膨胀率为 1的膨胀卷积； 第二网络分支是卷积核大小为 的标准卷积和卷积核大小为 、 膨胀率为3的膨 胀卷积； 第三网络分支是卷积核大小为 的标准卷积和卷积核大小为 、 膨胀率为5的膨 胀卷积； 123） 将变电站静态图像输入到多尺度区域图像提取网络进行训练： 1231） 变电站静态图像输入深度残差网络， 深度残差网络 输出提取的明火图像特 征； 1232） 明火图像特征输入多尺度特征融合网络， 多尺度特征融合网络的三个网络分支 输出的变电站区域明火图像特征图， 通过对应像素点相加， 实现特征的融合， 得到明火或烟 雾图像的特 征图像； 13） 构建并训练变电站火灾检测模型： 基于级联区域卷积神经网络构建变电站火灾检 测模型， 并对变电站火灾检测模型进行训练； 所述构建并训练变电站火灾检测模型包括以下步骤： 131） 设定变电站火灾检测模型基于级联区域卷积神经网络结构， 级联区域卷积神经网 络结构由两阶段区域卷积神经网络级联； 132） 设定级联区域卷积神经网络结构第一阶段的区域卷积神经网络包括一层膨胀卷 积层， 其中卷积核大小为 、 膨胀率为3； 并列的分类层和回归层采用卷积核为 的卷 积层， 分别输出2个神经元用于表示图像中是否含有明火或者烟雾区域、 输出4个神经元用 于表示明火或烟雾区域的位置坐标信息， 通过第一阶段的区域卷积神经网络的分类层和输 出的结果获取图像中 明火或烟雾感兴趣区域； 133） 设定第 二阶段的区域卷积神经网络输入为图像 中明火或烟雾感兴趣区域， 输出为 感兴趣区域的具体 类别， 是明火或烟雾； 设定第二阶段的区域卷积神经网络包括一层自适应卷积层和两层并列的分类层和回 归层， 其中， 分类层采用卷积核 ， 输出通道数为 ， 用于输出明火和烟雾的类别置信权　利　要　求　书 1/3 页 2 CN 114399719 B 2度信息， 回归层采用卷积核为 ， 输出通道数为 ， 输出明火和烟雾区域的位置信息； 134） 将明火或烟雾图像的特征图像输入变电站火灾检测模型进行训练， 级联 区域卷积 神经网络模型的训练包括 正负训练样本的确定、 损失函数的定义和模型参数 学习； 1341） 采用基于交并比的匹配方法确定训练样本， 对于第一阶段的区域卷积神经网络， 当训练样本的边界框与真实标注的边界框之间的 交并比大于阈值0.5， 则该样本为正样本、 否则为负样本； 对于第二阶段的区域卷积神经网 络， 当训练样本的边界框与真实标注的边界框 之间的交并比大于阈值0.7， 则该样 本为正样 本、 否则为负 样本； 1342） 用下式所示的级联区域卷积神经网络模型的损失函数计算网络预测与真实样本 之间的损失值 L： 其中， 表示第一阶段的回归损失， 表示第二阶段的回归损失， 为分 类损失， 参数 为平衡级联区域卷积神经网络模型的分类损失和回归损失的超参数； 分类损失函数采用交叉熵损失函数 ， 定义如下： 其中， N表示训练样本量， 表示第  样本的正负标签， 正样本为1， 负样本为0， 表示 样本预测为明火区域的置信度； 回归损失函数采用交并比损失函数 ， 定义如下： 其中， P表示级联区域卷积神经网络模型预测的明火区域边界框， G表示真实标注的明 火区域边界框， 表示P和G之间的交集， 表示P和G之间的并 集； 1343） 采用BP算法对级联区域卷积神经网络的进行训练， 对网络的权重 W和偏置参数 B 进行学习， 迭代 N次至网络参数达 到最优； 14） 变电站实时视频 数据的获取： 获取变电站实时视频 数据并进行 预处理； 15） 变电站火灾视频的监测预警： 将预处理后的变电站实时视频数据经多尺度区域图 像提取网络提取 出特征图像后， 输入训练后的变电站火灾检测模型， 进行火灾 监测预警； 所述变电站火灾视频的监测预警包括以下步骤： 151） 将预处 理后的变电站实时视频 数据经多尺度区域图像提取网络提取 出特征图像； 152） 利用提取的特征图像， 输入到训练后的变电站火灾检测模型， 输出明火或烟雾区 域分类信息( c, s)， 其中c表示是明火或烟雾类别， s对应分类 的置信度及对应 的位置信息( x, y, w, h),  其中， (x, y)和(w, h)分别表示对应的明火或烟雾区域的中心点坐标和其边界框的长和 宽；权　利　要　求　书 2/3 页 3 CN 114399719 B 3