(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211197783.8 (22)申请日 2022.09.29 (71)申请人 武光利 地址 730000 甘肃省兰州市城关区西北新 村1号 申请人 王圣焘　张静　 甘肃欧美亚信息科技有限公司 (72)发明人 武光利　王圣焘　张静　王平　 张馨月　田军　牛君会　 (74)专利代理 机构 重庆壹手知专利代理事务所 (普通合伙) 50267 专利代理师 黄觐 (51)Int.Cl. G06F 16/483(2019.01) G06F 16/438(2019.01)G06F 16/44(2019.01) G06F 17/16(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 自适应图结构的视频摘要生成方法 (57)摘要 本发明涉及计算机视觉技术领域， 公开了一 种获取原始视频帧序列， 并根据原始视频帧序列 得到局部特征Sdata； 根据原始视频帧序列中每个 镜头的SVDframe和代表性帧构建邻接矩阵 在TAMGCN网络模型中采用注意力机制， 根据当前 层的输入Sdata计算的注意力矩阵， 得到整个层的 图注意力输出 根据注意力矩阵得到 TAMGCN网络模型的输出graphfeature； 根据局部特 征Sdata计算时序特征Globalfeature； 将时序特征 Globalfeature与graphfeature进行特征融合， 得到 原始视频帧序列中每个镜头的得分； 根据每个镜 头的得分采用背包算法选取若干个的镜头进行 组合， 得到原始视频的视频摘要。 本发明提供的 方法， 构对视频镜头有更好的处理能力， 其中的 注意力部分可以有效的关注到其中具有代表性 和多样性的镜头， 使 得生成的摘要更具代表性和 多样性。 权利要求书4页 说明书14页 附图3页 CN 115525782 A 2022.12.27 CN 115525782 A 1.一种自适应图结构的视频摘要生成方法， 其特 征在于， 构建TAMGCN网络模型， 包括： 获取原始视频帧序列， 并根据所述原 始视频帧序列得到局部特 征Sdata； 根据所述原 始视频帧序列中每 个镜头的SVDframe和代表性帧构建邻接矩阵 在TAMGCN网络模型中采用注意力机制， 根据当前层的输入Sdata计算的注意力矩阵， 得到 整个层的图注意力输出 根据注意力矩阵得到TAMGCN网络模型的输出graphfeature； 根据局部特 征Sdata计算时序特 征Globalfeature； 将所述时序特征Globalfeature与graphfeature进行特征融合， 得到所述原始视频帧序列中 每个镜头的得分； 根据每个镜头的得分采用背包算法选取若干个的镜头进行组合， 得到所述原始视频的 视频摘要。 2.根据权利要求1所述的自适应图结构的视频摘要生成方法， 其特征在于， 所述获取原 始视频帧序列， 并根据所述原 始视频帧序列得到局部特 征Sdata的步骤， 包括： 定义所述原始视频帧序列为 其中， N为每一个视频中所含的视频 帧的个数， w,h,3为每一帧图片的宽、 高、 通道数， xn代表第n个视频帧； 采用KTS算法得到镜头序列 其中， M表示一个视频共划分了M个 镜头， sm表示第m个镜 头中有Tm帧且 对所述镜头序列S 采用预训练模型GoogLe  Net提取图像特征 s′m表示第m个镜 头有Tm帧， F为每一帧的特 征维度； Sfeature通过长短期记 忆网络双向编码得到每 个视频的局部特 征， 其公式为： 其中， BiLSTM( ·)表示双向LSTM网络， BiLSTM( ·)的输出为最后一层隐藏层 ht的最后一帧编码了当前镜头中前向和后向的时序信息， 取每个镜头输出ht的最后一帧 并堆叠作为整个视频的局部特 征 3.根据权利要求1所述的自适应图结构的视频摘要生成方法， 其特征在于， 所述根据 所 述原始视频帧序列中每个镜头的SVDframe和代表性帧构建邻接矩阵 的步骤， 包 括： 通过计算每一个镜头 中的帧和其余帧之间的2 ‑范数， 选择与其它平均范数最低帧作为 该镜头的代表性帧， 其公式为： 取右奇异 矩阵的前n行作为每 个镜头的SVDframe， 其公式为：权　利　要　求　书 1/4 页 2 CN 115525782 A 2A＝U∑VT SVDframe＝SVD(Sfeature)＝VT[n,:] 其中， U为左奇异矩阵， 对行数进行压缩， VT为右奇异矩阵， 对列数进行压缩， Σ是奇异 值； 定义每个视频的镜头作为节点， 根据每个镜头的SVDframe和代表性帧得到图上的节点特 征为Spotfeature＝[presentframe||SVDframe]； 计算两个镜头之间的相似程度作为对应节点的边， 即邻接矩阵的值， 并构建邻接矩阵 计算公式为： 其中， x为每个节点特征Spotfeature， [·||·]表示连接操作， φ( ·)， 是以Wφ, 为 基的线性变换， Wφ, We都是可学习的参数。 4.根据权利要求3所述的自适应图结构的视频摘要生成方法， 其特征在于， 所述在 TAMGCN网络模型中采用注意力机制， 根据当前层的输入Sdata计算的注意力矩阵， 得到整个 层的图注意力输出 的步骤， 包括： 在TAMGCN网络模型中采用注意力机制， 根据当前层的输入计算每一层的注意力， 当前 节点的注意力计算公式为： 其中， 为当前节点， 为邻居节点， 是可学习的 权值矩阵， [ ·||·]表示连接操作， LeakyReLU( ·)为激活函数， 为可学习的注意 力分布矩阵； 计算注意力权 重， 公式为： aij＝Nj(eij) 其中， aij为注意力权重， N( ·)＝exp(·)/∑exp(·)为归一化算子， 整个层的图注意力 的输出为 5.根据权利要求4所述的自适应图结构的视频摘要生成方法， 其特征在于， 所述根据注 意力矩阵得到TAMGCN网络模型的输出graphfeature的步骤， 包括： 每一层的TAMGCN以GCN 为基础建模得到： 其中， 为第l层的输出， l＝0,1,...,L ‑1andH(0)＝Sdata， σ(·)为激活函数，权　利　要　求　书 2/4 页 3 CN 115525782 A 3