(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211016393.6 (22)申请日 2022.08.24 (71)申请人 之江实验室 地址 311000 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 (72)发明人 邱奇波　华炜　高海明　黄刚　 张顺　姜峰　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于场景先验的视觉车道线检测系统 及方法 (57)摘要 本发明公开了一种基于场景先验的视觉车 道线检测系统及方法， 包括： 数据处理模块、 视觉 主干网络模块、 先验知识对齐模块、 融合网络模 块、 检测网络模块； 所述数据处理模块的输入为 待检测的图像数据、 场景先验数据、 定位数据， 输 出为归一化之后的图像、 用栅格图维护的局部场 景先验信息； 所述视觉主干网络模块的输入为归 一化之后的图像， 输出为图像特征； 所述先验知 识对齐模块， 输入为用栅格图维护的局部场景先 验信息， 输出为对齐后的局部场景先验信息； 所 述融合网络模块， 输入为图像特征和对齐后的局 部场景先验信息， 输出为融合后的图像特征和局 部场景先验信息； 所述检测 网络模块， 输入为融 合后的图像特征， 输出为用掩码表 示的车道线检 测结果。 权利要求书2页 说明书5页 附图2页 CN 115439817 A 2022.12.06 CN 115439817 A 1.一种基于场景先验的视觉车道线检测系统， 包括： 数据处理模块、 视觉主干网络模 块、 先验知识对齐模块、 融合网络模块、 检测网络模块； 其特征在于： 所述数据处理模块的输 入为待检测的图像数据、 场景先验数据、 定位数据， 输出为归一化之后的图像、 用栅格图维 护的局部场景先验信息； 所述视觉主干网络模块的输入为归一化之后的图像， 输出为图像 特征； 所述先验知识对齐模块， 输入为用栅格图维护的局部场景先验信息， 输出为对齐后的 局部场景先验信息； 所述融合网络模块， 输入为图像特征和对齐后的局部场景先验信息， 输 出为融合后的图像特征和局部场景先验信息； 所述检测网络模块， 输入为融合后的图像特 征， 输出为用掩码表示的车道线检测结果。 2.如权利要求1所述的一种基于场景先验的视觉车道线检测系统， 其特征在于： 其特征 在于： 所述栅格图， 通过定位信息索引全局 场景先验信息获取； 场景先验信息是任何可以预 先获取的环境信息， 包括当前栅格的高度、 当前栅格是否为道路、 当前栅格的静态障碍物类 型等， 栅格的尺寸和每 个栅格代 表的物理 空间大小， 由预 先定义。 3.如权利要求1所述的一种基于场景先验的视觉车道线检测系统， 其特征在于： 所述视 觉主干网络模块由L个自注意力层构成， 每层输出一个特征图,  L由预先设定， 对于输入每 个自注意力层的特征图， 其尺寸为CL *HL*WL， 用大小为K*K的滑动窗口切成特征块， 移动步 长为S， 每个特征块大小为CL *K*K, 然后用全 连接层将每个特征块映射为1*VL的特征向量， 共可得到(HL/S)*(WL/S)个向量， 对这 些向量执行自注意力操作， 得到优化后的向量， 整理成 VL*(HL/S)*(WL/S)的特征图XL， 输入到下个自注意力层，  以上参数取值由预先设定且每层 取值可以相同或者相异。 4.如权利要求1所述的一种基于场景先验的视觉车道线检测系统， 其特征在于： 所述先 验知识对齐模块模块通过构建卷积层来计算栅格图的嵌入表示map_embd， 其中卷积层的输 入通道为CM， 输出通道为Dembd， 卷积核大小为KM*KM， 步长为SM， 其取值均 由预先设定， 其中 Dembd的取值往往与VL保持一致， 卷积层输出尺寸为Dembd* （HM/SM） * （WM/SM） 的栅格图嵌入表 示， 以上参数的取值由预先定义； 将map_embd输入到由多层卷积组成的投影网络， 得到由2* 3矩阵表示的仿射变换参数affine_param； 通过使用affine_param对map_embd进行空间变 换， 得到变换后的特征张量， 将该特征张量沿宽、 高两个维度展平， 得到Dembd*LM的矩阵map_ prompt， 其中LM=(HM/SM)*(WM/SM) ， 以上参数的取值由预 先定义。 5.如权利要求1所述的一种基于场景先验的视觉车道线检测系统， 其特征在于： 融合网 络， 包含知识编码器层和融合编码器层两种网络层， 选取视觉主干网络模块中的某一层特 征图XL,将其沿着宽、 高两个 维度展平， 得到VL*LL的矩阵im g_featL， 其中LL=(HL/S)*(WL/S)； 将map_prompt和img_featL一起输入到融合网络， 融合网络首先对map_prompt进行L1次自 注意力操作， 得到优化后的特征map_refined， 再将img_featL和map_refined拼接， 得到VL* （LL+LM） 的查询特征query_feat； 进一步对query_feat进行L2次自注意力操作， 得到优化后 的特征query。 6.如权利要求1所述的一种基于场景先验的视觉车道线检测系统， 其特征在于： 所述检 测网络模块输入为查询特征qu ery， 首先从query中切分出图像相关的特征， 对于每个输入 到融合模块的特征图XL， 找出其在qu ery中的对应位置的特征， 重新整理成跟XL 尺寸一致的 特征图NXL ； 按通道拼接每一个特征图XL ，在拼接之前对特征图进行上采样， 使之通道数目 不变， 而宽高跟视觉主干网络中最大的特征 图保持一致， 如果某个特征 图XL存在对应的融权　利　要　求　书 1/2 页 2 CN 115439817 A 2合特征图NXL， 那么用NXL代替XL进行上采样和拼接， 得到拼接特征Feat_all； 将拼接特征 Feat_all输入到一个全 连接模块， 得到cls*Hseg*Wseg的分割结果， 其中cl s表示分割的种类， 为预先设定， Hseg和Wseg为视觉主干网络中最大特征图的高和宽， 对该分割结果进行上采样 使之大小于原图一 致， 得到cls*H*W的车道线检测结果。 7.一种基于场景 先验的视 觉车道线检测方法， 其特 征在于包括如下步骤： 步骤1.构建数据处 理模块， 得到归一 化图像和 局部场景 先验信息； 步骤2.构建视 觉主干网络模块， 得到图像特 征； 步骤3.构建先验知识对齐模块， 得到对齐后的局部场景 先验信息； 步骤4.构建融合网络模块， 得到融合后的图像和 局部场景 先验信息； 步骤5.构建检测网络模块， 得到掩码表示的车道线检测结果。权　利　要　求　书 2/2 页 3 CN 115439817 A 3