恭喜华侨大学;厦门松霖科技股份有限公司曾焕强获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜华侨大学;厦门松霖科技股份有限公司申请的专利基于注意力引导的屏幕内容视频质量评价方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119205752B 。
龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411703532.1,技术领域涉及:G06T7/00;该发明授权基于注意力引导的屏幕内容视频质量评价方法及装置是由曾焕强;刘智鸿;陈婧;朱建清;施一帆;蔡磊;龚鑫荣;陈斌;陈志达;卢伟设计研发完成,并于2024-11-26向国家知识产权局提交的专利申请。
本基于注意力引导的屏幕内容视频质量评价方法及装置在说明书摘要公布了:本发明公开了一种基于注意力引导的屏幕内容视频质量评价方法及装置,涉及视频质量评价领域,包括:构建时空融合的屏幕内容视频质量评价模型并训练,得到经训练的屏幕内容视频质量评价模型,屏幕内容视频质量评价模型包括空域质量评价分支和时域质量评价分支;获取屏幕内容视频并提取得到若干个碎片化视频和若干个关键帧;将每个碎片化视频和关键帧输入经训练的屏幕内容视频质量评价模型,分别经过空域质量评价分支和时域质量评价分支,得到空域质量分数和时域质量分数,两者结合得到屏幕内容视频的质量分数。本发明解决现有视频质量评价方法的敏感性差,视觉质量评价准确度低等问题。
本发明授权基于注意力引导的屏幕内容视频质量评价方法及装置在权利要求书中公布了:1.一种基于注意力引导的屏幕内容视频质量评价方法,其特征在于,包括以下步骤:构建时空融合的屏幕内容视频质量评价模型并训练,得到经训练的屏幕内容视频质量评价模型,所述屏幕内容视频质量评价模型包括空域质量评价分支和时域质量评价分支,所述空域质量评价分支包括纹理特征提取单元、语义特征提取单元、第一融合模块和空间质量聚合模块,所述纹理特征提取单元包括显著性计算模块、初始多尺度纹理表示计算模块和第一预训练网络;所述语义特征提取单元包括第二预训练网络和第二融合模块;获取屏幕内容视频并提取得到若干个碎片化视频和若干个关键帧;将每个碎片化视频和关键帧输入所述经训练的屏幕内容视频质量评价模型,每个关键帧经过纹理特征提取单元的初始多尺度纹理表示计算模块,先进行通道分割并提取得到每个关键帧的初始多尺度纹理表示,每个关键帧经过所述显著性计算模块计算得到每个关键帧的显著性图,根据每个关键帧的初始多尺度纹理表示和显著性图得到每个关键帧的多尺度纹理表示,每个关键帧的多尺度纹理表示输入到所述第一预训练网络,提取得到每个关键帧的纹理特征,具体包括:将每个关键帧中的每个像素点的初始多尺度纹理表示和对应的显著性值相乘,得到每个关键帧中的每个像素点的多尺度纹理表示,如下式所示: 其中,表示关键帧中的位置处像素点的初始多尺度纹理表示,表示关键帧中的位置处像素点的显著性值,表示关键帧中的位置处像素点的多尺度纹理表示;将所述关键帧中的位置处像素点的多尺度纹理表示输入所述第一预训练网络,得到关键帧中的位置处像素点的纹理特征; 其中,表示所述第一预训练网络中的个阶段中的第个阶段的所有卷积层所对应的函数,表示第个阶段的纹理特征,表示全局平均池化层对应的函数,表示全局标准差池化层对应的函数,表示拼接操作,表示关键帧的纹理特征;每个关键帧输入语义特征提取单元,先进行划分裁剪,得到若干个图像块,并重构得到重构关键帧,分别将每个图像块和重构关键帧输入到所述第二预训练网络,得到每个图像块的语义特征和重构关键帧的语义特征,将所有图像块的语义特征和重构关键帧的语义特征输入到所述第二融合模块,得到每个关键帧的语义特征,具体包括:将所述关键帧进行若干等分,得到若干个网格,在每一个网格中随机划分裁剪出固定大小的图像块,得到若干个图像块,并将其按照网格位置重构得到重构关键帧;分别将第个图像块和重构关键帧输入到所述第二预训练网络,得到第个图像块的语义特征和重构关键帧的语义特征,如下式所示: 其中,表示第个图像块,表示图像块的总数,表示重构关键帧,表示所述第二预训练网络中的个阶段中的第个阶段的所有卷积层所对应的函数,表示全局平均池化层对应的函数,表示全局标准差池化层对应的函数,表示第个图像块对应的第个阶段的语义特征,表示重构关键帧对应的第个阶段的语义特征,表示拼接操作,表示第个图像块对应的语义特征,表示重构关键帧对应的语义特征;所述第二融合模块包括第一交叉注意力模块,所述第个图像块对应的语义特征和重构关键帧对应的语义特征经过第一交叉注意力模块,将所述重构关键帧对应的语义特征作为查询向量,所述第个图像块对应的语义特征作为键向量和值向量,得到第个图像块的语义特征所有图像块的语义特征进行拼接,得到关键帧的语义特征,如下式所示: 其中,表示函数,表示转置矩阵,表示常数,表示拼接操作,表示关键帧的语义特征;将每个关键帧的纹理特征和语义特征输入所述第一融合模块,得到空间特征,所述空间特征经过所述空间质量聚合模块,得到空域质量分数;所述每个碎片化视频输入所述时域质量评价分支,得到时域质量分数;根据所述空域质量分数和时域质量分数计算得到屏幕内容视频的质量分数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华侨大学;厦门松霖科技股份有限公司,其通讯地址为:362000 福建省泉州市丰泽区城东城华北路269号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。