(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210324929.4 (22)申请日 2022.03.30 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 田崇祯　邵枫　 (74)专利代理 机构 宁波奥圣专利代理有限公司 33226 专利代理师 周珏 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/40(2006.01) G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 一种全景拼接图像质量评价方法 (57)摘要 本发明公开了一种全景拼接图像质量评价 方法， 其预测了拼接视口图像和显著视口图像， 在训练阶段， 考虑到鬼影、 形变、 色差、 空洞等对 图像质量的影响， 提取边缘感知特征、 形变感知 特征、 颜色感知特征、 信息感知特征构成特征矢 量， 并将拼接视口特征矢量和显著视口特征矢量 结合构成全 景拼接图像的特征矢量， 然后利用多 元线性回归对 所有特征矢量进行训练， 构造多元 线性回归训练模型； 在测试阶段， 通过计算测试 集中的全景拼接图像的特征矢量， 并根据多元线 性回归训练模 型， 预测得到全景拼接图像的客观 质量评价预测值， 由于获得的特征矢量具有较强 的稳定性且较为全面地反映了全景拼接图像的 失真情况， 因此提高了客观评价结果与人眼主观 感知之间的相关性。 权利要求书12页 说明书26页 附图1页 CN 114972169 A 2022.08.30 CN 114972169 A 1.一种全景拼接图像质量评价方法， 其特 征在于包括以下步骤： 步骤1： 选取两张由不同方位的两幅鱼眼图像拼接得到的全景拼接图像， 将由90 °方位 和270°方位的两幅鱼眼图像 拼接得到的全景拼接图像作为失真图像， 并记为IS， 将IS中坐标 位置为(u,v)的像素点的像素值记为IS(u,v)； 将由0 °方位和180 °方位的两幅鱼眼图像拼接 得到的全景拼接图像作为参考图像， 并记为IG， 将IG中坐标位置为(u,v)的像素点的像素值 记为IG(u,v)； 其中， 1≤u≤W， 1≤v≤ H， W表示IS和IG的宽度， H表示 IS和IG的高度； 步骤2： 对IS进行投影变换， 获得IS对应的N1个失真拼接视口 图像和N2个失真显著 视口图 像， 将IS对应的第i个失真拼接视口图像记为 将IS对应的第j个失真显著视口图像记为 将 中坐标位置为 的像素点的像素值记为 将 中坐标位置为 的像素点的像素值记为 同样， 对IG进行投影变换， 获得IG对应的N1个参考拼接视口图像和N2个参考显著视口图 像， 将IG对应的第i个参考拼接视 口图像记为 将IG对应的第j个参考显著视 口图像记为 将 中坐标位置为 的像素点的像素值记为 将 中坐标位置为 的像素点的像素值记为 其中， N1≥1， N2≥1， 1≤i≤N1， 1≤j≤N2； 步骤3： 采用SIFT ‑Flow方法建立IG对应的每个参考拼接视口图像与IS对应的每个失真 拼接视口图像之间的匹配关系， 得到IG对应的每个参考拼接视口图像中的每个像素点的 SIFT‑Flow向量， 对于 与 采用SIFT ‑Flow方法建立 与 之间的匹配关系， 得到 中 的每个像素点的SIFT ‑Flow向量， 将 中坐标位置为 的像素点的SIFT ‑Flow向量记 为 同样， 采用SIFT ‑Flow方法建立IG对应的每个参考显著视口图像与IS对应的每个 失真显 著视口图像之间的匹配关系， 得到IG对应的每个参考显著视口图像中的每个像素点的 SIFT‑Flow向量， 对于 与 采用SIFT ‑Flow方法建立 与 之间的匹配关系， 得到 中的每个像素点的SIFT ‑Flow向量， 将 中坐标位置为 的像素点的SIFT ‑Flow向量 记为 其中， 用于表示水平方向， 用于表示垂直方向， 表示 的水平偏 移量， 表示 的垂直偏移量， 表示 的水平偏移 量， 表示 的垂直偏移量； 步骤4： 采用简单线性迭代聚类方法对IG对应的每个参考拼接视口图像进行超像素分 块， 对于 对 进行超像素分块得到Nseed个互不重叠的超像素块， 将 中的第ξ个超像素权　利　要　求　书 1/12 页 2 CN 114972169 A 2块中的所有像素点的坐标位置构成的集合记为 然后根据IG对应的每个参考拼接视口 图像中的每个像素点的SIFT ‑Flow向量， 确定IG对应的每个参考拼接视口图像中的每个超 像素块在IS对应的每个失真拼接视口图像中匹配的超像素块， 对于 根据 中的每个像 素点的SIFT ‑Flow向量， 确定在 中与 中的每个超像素块匹配的超像素块， 将在 中与 中的第ξ个超像素块匹配 的超像素块中的所有像素点的坐标位置构成的集合记为 其中， Nseed≥1， 1≤ ξ ≤Nseed； 同样， 采用简单线 性迭代聚类方法对 IG对应的每个参考显著 视口图像进行超像素分块， 对于 对 进行超像素分块得到Nseed个互不重叠的超像素块， 将 中的第ξ个超像素块 中的所有像素点的坐标位置构成的集合记为 然后根据IG对应的每个参考显著视口图 像中的每个像素点 的SIFT‑Flow向量， 确定IG对应的每个参考显著视口图像中的每个超像 素块在IS对应的每个失真显著视口图像中匹配的超像素块， 对于 根据 中的每个像素 点的SIFT ‑Flow向量， 确定在 中与 中的每个超像素块匹配的超像素块， 将在 中与 中的第 ξ 个超像素块匹配的超像素块中的所有像素点的坐标位置构成的集 合记为 步骤5： 根据IG对应的每个参考拼接视口 图像的灰度图像的局部导向核特征张量的第一 主成分、 第二主成分、 第三主成分中的每个超像素块及IG对应的每个参考拼接视 口图像的 灰度图像的局部导向核特征张量的第一主成分、 第二主成分、 第三主成分中的每个超像素 块在IS对应的每个失真拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、 第 二主成分、 第三主成分中匹配 的超像素块， 计算IS对应的每个失真拼接视 口图像中的每个 超像素块的边缘感知特征， 将在 中与 中的第ξ个超像素块匹配的超像素块的边缘感知 特征记为 其中， 的维数为1 ×3， 表示在 的灰度图像 的局部导向核特征张量 的第一主成分 中与 的灰度图像的局部导向核特征张量的第 一主成分 中的第 ξ个超像 素块匹配的超像 素块的边缘感知特征， 表示在 的灰度图 像的局部导向核特征张量 的第二主成分 中与 的灰度图像的局部导向核特征张量的 第二主成分 中的第 ξ个超像素块匹配的超像素块的边缘感知特征， 表示在 的灰度 图像的局部导向核特征张量的第三主成分 中与 的灰度图像的局部导向核特征张量 的第三主成分 中的第 ξ 个超像素块匹配的超像素块的边 缘感知特 征； 步骤6： 根据IG对应的每个参考拼接视口图像中的每个超像素块及IG对应的每个参考拼 接视口图像中的每个超像素块在IS对应的每个失真拼接视口图像中匹配的超像素块， 计算 IS对应的每个 失真拼接视口图像中的每个超像素块的形变 感知特征， 将在 中与 中的第 ξ个超像素块匹配的超像素块的形变感知特征记为 其中， 的维权　利　要　求　书 2/12 页 3 CN 114972169 A 3