(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210386553.X (22)申请日 2022.04.14 (65)同一申请的已公布的文献号 申请公布号 CN 114495032 A (43)申请公布日 2022.05.13 (73)专利权人 科大天工智能装备技 术 （天津） 有 限公司 地址 300308 天津市东 丽区华明 高新技术 产业区华丰路6号G座1号楼 (72)发明人 张超　张波　万亚东　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 韩雪梅 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G08G 1/017(2006.01) (56)对比文件 CN 110956156 A,2020.04.0 3 CN 111274886 A,2020.0 6.12 CN 105788286 A,2016.07.20 CN 110136449 A,2019.08.16 韩伊娜.基于深度学习的目标检测与识别算 法研究. 《中国优秀博硕士学位 论文全文数据库 (硕士)信息科技 辑》 .2021, 审查员 杨林郁 (54)发明名称 一种交通违法行为监测方法、 系统及智慧灯 杆 (57)摘要 本发明涉及一种交通违 法行为监测方法、 系 统及智慧灯杆， 属于交通安全检测技术领域。 本 发明提供的交通违 法行为监测方法， 基于轻量双 支骨干网络构建行为监测网络后， 对构建的监测 网络进行训练得到行为监测模型， 接着采用行为 监测模型对待监测交通路段的视频进行处理得 到监测结果， 然后基于监测结果进行是否存在交 通违法行为的判断， 以达到提高闯红灯违法行为 监测精确性的目的。 并且， 本发明通过采用轻量 双支骨干网络， 能够显著降低网络模 型的参数量 和计算需求 量。 权利要求书2页 说明书7页 附图5页 CN 114495032 B 2022.07.19 CN 114495032 B 1.一种交通违法行为 监测方法， 其特 征在于， 包括： 构建行为监测网络； 构建得到的所述行为监测网络包括： 轻量双支骨干网络、 区域建议 网络、 ROI  Align层和Faster  RCNN检测头； 所述轻量双支骨干网络包括： 多个轻量双支结构 和多个单侧融合支线； 采用样本数据集训练所述行为 监测网络得到行为 监测模型； 以获取待监测交通路段当前时刻的视频， 并将所述视频转换为视频图像； 将所述视频图像输入所述行为 监测模型 得到监测结果； 判断所述 监测结果中是否存在红灯目标， 得到第一判断结果； 若所述第一判断结果为所述监测结果中存在红灯目标， 则将当前时刻通行状态判定为 红灯禁行状态， 并判断所述 监测结果中是否存在监测目标， 得到第二判断结果； 若所述第二判断结果为所述监测结果中存在监测目标， 则判定为存在交通违法行为， 并输出包 含监测目标的视频图像， 生成警告信号； 若所述第二判断结果为所述监测结果中不存在监测目标， 则判定为不存在交通违法行 为， 并进行 下一时刻监测； 若所述第一判断结果为所述监测结果中不存在红灯目标， 则将当前时刻通行状态判定 为非禁行状态， 进行 下一时刻监测； 所述轻量双支骨干网络的数据处 理过程为： 视频图像输入至第一轻量双支结构得到第一特 征图； 所述第一特 征图输入至第二轻量双支结构得到第二特 征图； 所述第二特 征图输入至第三轻量双支结构得到第三特 征图； 所述第一特 征图输入至第一单侧融合支线得到第四特 征图； 所述第三特 征图和所述第四特 征图进行通道维度拼接得到第五特 征图； 所述第五特 征图输入至第四轻量双支结构得到第六 特征图； 所述第二特征图输入至第 二单侧融合支线得到第七特征图； 所述第 一单侧融合支线和 所述第二单侧融合支线均用于对特 征图进行 预设比例因子的池化操作； 所述第七特征图和所述第六特征图进行通道维度拼接得到第八特征图； 所述第八特征 图即为所述轻量双支骨干网络的输出 特征图。 2.根据权利要求1所述的交通违法行为监测方法， 其特征在于， 所述轻量双支结构包 括： 第一卷积支线、 第二卷积支线和 加权处理层； 所述第一卷积支线和所述第二卷积支线均用于对输入图像进行 卷积操作； 所述加权处理层用于将所述第一卷积支线的输出特征图和所述第二卷积支线的输出 特征图进行 逐像素相加操作。 3.根据权利要求2所述的交通违法行为监测方法， 其特征在于， 所述第 一卷积支线用于 对输入图像进行卷积核为 1*1、 步长为2以及通道数为9的卷积操作后， 进 行卷积核为1*1、 步 长为1以及通道数为18的卷积 操作。 4.根据权利要求2所述的交通违法行为监测方法， 其特征在于， 所述第 二卷积支线用于 对输入图像进行卷积核为3*3、 步长为2以及通道数为9的卷积操作后， 进 行卷积核为3*3、 步 长为1以及通道数为18的卷积 操作。 5.根据权利要求1所述的交通违法行为监测方法， 其特征在于， 所述预设比例因子为4*权　利　要　求　书 1/2 页 2 CN 114495032 B 24的比例因子 。 6.一种交通违法行为 监测系统， 其特 征在于， 包括： 网络构建模块， 用于构建行为监测网络； 构建得到的所述行为监测网络包括： 轻量双支 骨干网络、 区域建议网络、 ROI  Align层和Faster  RCNN检测头； 所述轻量双支骨干网络包 括： 多个轻量双支结构和多个单侧融合支线； 模型训练模块， 用于采用样本数据集训练所述行为 监测网络得到行为 监测模型； 图像转换模块， 用于以获取待监测 交通路段当前时刻的视频， 并将所述视频转换为视 频图像； 行为监测模块， 用于将所述视频图像输入所述行为 监测模型 得到监测结果； 第一判断模块， 用于判断所述 监测结果中是否存在红灯目标， 得到第一判断结果； 第二判断模块， 用于当所述第一判断结果为所述监测结果中存在红灯目标时， 将当前 时刻通行状态判定为红灯禁行状态， 并判断所述监测结果中是否存在监测目标， 得到第二 判断结果； 告警信号生成模块， 用于当所述第二判断结果为所述监测结果中存在监测目标时， 判 定为存在交通违法行为， 并输出包 含监测目标的视频图像， 生成警告信号； 第一循环检测模块， 用于当所述第二判断结果为所述监测结果中不存在监测目标时， 判定为不存在交通违法行为， 并进行 下一时刻监测； 第二循环检测模块， 用于当所述第一判断结果为所述监测结果中不存在红灯目标时， 将当前时刻通行状态判定为非禁行状态， 进行 下一时刻监测； 所述轻量双支骨干网络的数据处 理过程为： 视频图像输入至第一轻量双支结构得到第一特 征图； 所述第一特 征图输入至第二轻量双支结构得到第二特 征图； 所述第二特 征图输入至第三轻量双支结构得到第三特 征图； 所述第一特 征图输入至第一单侧融合支线得到第四特 征图； 所述第三特 征图和所述第四特 征图进行通道维度拼接得到第五特 征图； 所述第五特 征图输入至第四轻量双支结构得到第六 特征图； 所述第二特征图输入至第 二单侧融合支线得到第七特征图； 所述第 一单侧融合支线和 所述第二单侧融合支线均用于对特 征图进行 预设比例因子的池化操作； 所述第七特征图和所述第六特征图进行通道维度拼接得到第八特征图； 所述第八特征 图即为所述轻量双支骨干网络的输出 特征图。 7.一种智慧灯杆， 其特 征在于， 包括： 杆体、 摄 像器、 处理器、 存储器、 显示器和报警器； 所述摄像器、 所述存储器、 所述显示器和所述报 警器均与所述处理器连接； 所述摄像器 安装在所述杆体顶端； 所述处理器和所述存储器植入在所述杆体的内部； 所述显示器和所 述报警器置于所述杆体的外侧； 所述存储器中存储有用于实施如权利要求1 ‑5任意一项所 述交通违法行为监测方法的计算机软件程序； 所述处理器用于调取所述计算机软件程序， 以监测所述摄像器拍摄的视频是否存在交通违法行为， 并用于在存在交通违法行为时， 生 成告警信号； 所述报警器用于根据所述告警信号进行报警显示； 所述显示器用于显示存在 交通违法行为的视频图像。权　利　要　求　书 2/2 页 3 CN 114495032 B 3