恭喜福州大学牛玉贞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜福州大学申请的专利一种基于构图感知的图像美学质量评价方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116342569B 。
龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310347918.2,技术领域涉及:G06T7/00;该发明授权一种基于构图感知的图像美学质量评价方法是由牛玉贞;陈珊珊;赖宇;张家榜设计研发完成,并于2023-04-04向国家知识产权局提交的专利申请。
本一种基于构图感知的图像美学质量评价方法在说明书摘要公布了:本发明提出一种基于构图感知的图像美学质量评价方法,包括以下步骤;步骤S1:将图像美学质量评价数据集和图像构图质量评价数据集处理后的数据形成美学质量评价训练集与美学质量评价测试集、构图质量评价训练集与构图质量评价测试集;步骤S2:设计金字塔式多尺度特征融合模块;步骤S3:设计图像构图质量评价网络,训练得到图像构图质量评价模型;步骤S4:设计图像美学质量评价网络,训练得到图像美学质量评价模型;步骤S5:将美学质量评价测试集中的图像输入到图像美学质量评价模型中,输出对应的评分分布,计算平均值作为图像美学质量分数;本发明能有效地借助图像中的构图信息来辅助实现图像美学评价,进一步提高图像美学质量评价算法的性能。
本发明授权一种基于构图感知的图像美学质量评价方法在权利要求书中公布了:1.一种基于构图感知的图像美学质量评价方法,其特征在于:所述方法使用通过人主观评价形成的图像美学质量评价数据集和图像构图质量评价数据集,基于图像的构图属性来引导图像美学质量,包括以下步骤;步骤S1:将图像美学质量评价数据集和图像构图质量评价数据集中的数据进行数据预处理,以处理后的数据形成美学质量评价训练集与美学质量评价测试集、构图质量评价训练集与构图质量评价测试集;步骤S2:设计金字塔式多尺度特征融合模块;步骤S3:设计图像构图质量评价网络,使用所设计的网络训练得到图像构图质量评价模型;步骤S4:设计基于构图感知的图像美学质量评价网络,使用所设计的网络训练得到基于构图感知的图像美学质量评价模型;步骤S5:将美学质量评价测试集中的图像输入到训练好的基于构图感知的图像美学质量评价模型中,输出对应的图像美学评分分布,最后计算美学评分分布的平均值作为图像美学质量分数;所述步骤S3包括以下步骤;步骤S31:将预训完成且去除最后一层的ResNet_v2_50网络作为构图特征提取网络,使用在ImageNet数据集上预训练的权重作为初始参数;步骤S32:将经过步骤S1得到的构图质量评价训练集每个批次的图像输入到S31步骤中的构图特征提取网络,得到ResNet_v2_50网络的最后四个阶段的输出特征,并且设第i个阶段的输出特征为i=1,2,3,4,维度为步骤S33:将步骤S32得到的输出特征i=1,2,3,4输入到步骤S2设计的金字塔式多尺度特征融合模块得到最终的图像构图特征FC,其维度为最后特征FC输入到全连接层得到图像的构图质量分数;步骤S34:设计图像构图质量评价网络的损失函数,具体计算公式如下: 其中,m为样本个数,xi为第i个图像的真实构图质量分数,为第i个图像的预测构图质量分数;步骤S35:以批次为单位重复上述步骤S31至步骤S34,直至步骤S34中计算得到的损失值收敛并趋于稳定,保存网络参数,完成图像构图质量评价网络的训练过程;所述步骤S4具体包括以下步骤;步骤S41:首先以步骤S3设计的图像构图质量评价网络去掉全连接层后作为图像构图特征提取子网络,并以步骤S3训练完成的网络权重作为图像构图特征提取子网络的参数,这部分的参数不参与基于构图感知的图像美学质量评价网络的训练;再以预训的SwinTransformer网络并且去除最后一层作为图像美学特征提取子网络,其使用在ImageNet数据集上预训练的权重作为初始参数;步骤S42:将经过步骤S1的美学训练集中的每个批次的图像依次输入到S41步骤中的两个子网络;设美学图像经过图像构图特征提取子网络得到图像构图特征FC,其维度为并且经过图像美学特征提取子网络得到四个阶段的输出特征为i=1,2,3,4,步骤S43:将步骤S42得到的输出特征i=1,2,3,4输入到步骤S2设计的金字塔式多尺度特征融合模块得到最终的图像美学特征FA,其维度为步骤S44:构建交叉编码器Encoder,其由多头交叉注意力、层归一化和全连接层组成,设输入交叉编码器的特征为q、k和v,q,k和v的维度均为c×s,首先输入到多头交叉注意力,多头交叉注意力的输出与v相加,并对其进行层归一化,记为得到交叉编码器中间输出特征r,之后输入两层全连接层中,记为MLPc·,两层全连接层的输出再与r相加,并对其进行层归一化,记为最后得到输出特征r′,其维度为c×s;交叉编码器Encoder的公式为r′=Encoderq,k,v,其中Encoder·,·,·表示交叉编码器的计算,具体计算公式如下: 其中,MHCA·,·,·表示多头交叉注意力,+表示矩阵加法运算;步骤S45:首先将步骤S42得到的图像构图特征FC,其维度为经过1个1×1卷积按通道维度进行降维,得到降维后的构图特征F′C,其维度为然后将特征F′C和经过步骤S43得到的图像美学特征FA,其维度为分别经过Reshape操作进行维度调整,调整后得到维度为C×S的特征F″C和维度为C×S的特征F′A;其中,具体计算公式如下:F′C=Conv1×1FC公式十四;F″C=ReshapeF′C公式十五;F′A=ReshapeFA公式十六;其中,Conv1×1·表示1×1卷积,Reshape·表示维度调整操作;步骤S46:将步骤S45得到的特征F″C和特征F′A输入到步骤S44构建的交叉编码器,F″C作为交叉编码器的输入特征q,F′A作为交叉编码器的输入特征k和v,得到融合构图特征的图像美学特征,然后将融合构图特征的图像美学特征输入到全连接层得到图像美学评分分布;全连接层输出的分类数为N,N为美学评分分数集合中分数的个数;当设评分分数集合为{1,2,…,10}时,则N为10;步骤S47:设计基于构图感知的图像美学质量评价网络的损失函数,具体公式如下: 其中,和yi分别表示基于构图感知的图像美学质量评价网络预测的评分分布和标签的真实分布中美学评分为第i个取值时对应的概率,i对应美学评分取值为1,2,…N,N是数据集中评分取值的个数;步骤S48:以批次为单位重复上述步骤S41至步骤S47,直至步骤S47中计算得到的损失值收敛并趋于稳定,保存网络参数,完成基于构图感知的图像美学质量评价网络的训练过程。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福州大学,其通讯地址为:350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。