恭喜浙江大学许威威获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江大学申请的专利一种基于图块聚类的弱监督自然图像抠图方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114693937B 。
龙图腾网通过国家知识产权局官网在2025-03-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210367918.4,技术领域涉及:G06V10/28;该发明授权一种基于图块聚类的弱监督自然图像抠图方法是由许威威;张云柯;王驰;鲍虎军设计研发完成,并于2022-04-08向国家知识产权局提交的专利申请。
本一种基于图块聚类的弱监督自然图像抠图方法在说明书摘要公布了:本发明公开了一种基于图块聚类的弱监督自然图像抠图方法。具体地,用户先使用含有真实透明度遮罩标注的数据对教师网络进行训练;其次,再使用透明度遮罩相似度度量来对图块聚类模块进行训练;接着,使用训练完成的图块聚类模块对含有真实透明度遮罩标注的数据进行聚类并对聚类结果进行优化;最终使用所有数据分别使用传统图像抠图损失和聚类先验损失函数对学生网络进行监督。在使用时,用户通过将待抠图的图像及其对应三值图输入进学生网络从而得到最终抠图结果。本发明首次在仅有较少真实透明度遮罩标注的数据的前提下,利用不含真实透明度遮罩标注的数据提升了抠图效果,可以克服之前方法需要大批量标注训练数据的问题。
本发明授权一种基于图块聚类的弱监督自然图像抠图方法在权利要求书中公布了:1.一种基于图块聚类的弱监督自然图像抠图方法,其特征在于,包括以下步骤:S1:获取训练数据,其中包括含有真实透明度遮罩标注的数据集L及不含真实透明度遮罩标注的数据集U;其中,数据集L包括三部分:自然图像、自然图像对应的三值图、自然图像对应的真实透明度遮罩;数据集U包括两部分:自然图像及其对应的三值图;其中,所述三值图将自然图像中的所有像素分为三类,包括前景像素、背景像素和待求解像素;所述真实透明度遮罩代表的是自然图像中每个位置上对应像素的透明度;S2:使用数据集L及深度学习抠图损失函数训练教师网络T,网络T是一个基于编-解码器架构的深度神经网络,其中包括一个编码器和一个解码器;输入一张自然图像及其对应的三值图,编码器将输入映射成高维语义特征数据,解码器从高维语义特征数据中解码出真实透明度遮罩作为预测结果;使用抠图损失函数计算预测结果与真实透明度遮罩之间的差异,从而实现对网络T的训练;所述的使用数据集L及深度学习抠图损失函数训练教师网络T,具体为:首先使用在大型图像分类数据集训练过的图像分类模型作为网络的初始化,再使用数据集L以及相应的数据增广技巧,使用常用的抠图损失函数对网络T对进行训练;所述数据增广技巧包括随机数据增广技巧、随机非刚体体形变和透明度抖动;其中,随机非刚体形变包括弹性形变ElasticTransform和薄板样条形变ThinPlateSplineTransform,透明度抖动是对真实透明度遮罩进行随机伽马变换;S3:使用数据集L和透明度遮罩相似度损失训练图块聚类模块;该图块聚类模块包含了S2中训练完毕的网络T的编码器和一个映射器网络M;网络M是一个多层感知机MLP,负责将网络T的编码器输出的特征数据映射为用于图块聚类的特征数据;训练时,输入一张自然图像及其对应的三值图,经过网络T的编码器和映射器网络M,输出预测的图块聚类特征向量;最终使用透明度遮罩相似度损失来训练网络M,网络T的编码器不参与训练;所述的透明度遮罩相似度损失具体为:给定数据集L中的自然图像及其对应的三值图数据和真实透明度遮罩数据将和送入网络T的编码器编码后得到特征数据FL,透明度遮罩相似度损失函数Las按如下公式计算:Las=τsp,sn 其中,fi,fj∈FL是特征数据FL中位置i和位置j上的特征数据,ai,是真实透明度遮罩数据在位置i和位置j上对应的透明度遮罩块;MT是网络M;τ是Circle损失,γ,θm是Circle损失相关参数,sp和sn分别是Circle损失中的类内对和类间对;φ是余弦相似度,H和G分别是透明度遮罩相似度度量的两项指标;是选择类内和类间对时使用的阈值;S4:使用S3中训练完毕的图块聚类模块预测数据集L的聚类特征数据,在预测结果上进行聚类操作并对聚类结果进行优化;其中,先将数据集L中的自然图像及其对应的三值图数据送入图块聚类模块,获得对应的图块聚类特征数据;在获取到所有图块聚类特征数据之后,对特征数据使用K-means算法进行聚类并获取聚类中心;S5:对S4中获取的聚类中心进行进一步的优化并收集位于聚类中心附近的透明度遮罩;其中,聚类中心优化包括过滤无效聚类中心和相似聚类中心聚合;S6:使用数据集L、数据集U以及S5中优化后的聚类中心及其附近的透明度遮罩训练学生网络S;其中,网络S是一个与网络T结构完全相同的基于编-解码器架构的深度神经网络,且使用S2中训练好的网络T的权重进行初始化;训练时,同时将数据集L和数据集U的数据送入网络S,并由网络S输出透明度遮罩的预测结果;针对数据集L中的数据,使用抠图损失函数并利用数据集L中已知的真实透明度遮罩进行训练;针对数据集U中的数据,首先将数据送入S3中训练完毕的图块聚类模块获得该数据对应的图块聚类特征数据,接着依据此特征数据查找距离最近的经过S5优化后的聚类中心及其附近的透明度遮罩,最后使用聚类先验损失,利用查找到的透明度遮罩来进行训练;S7:使用在S6中训练完成的网络S进行抠图;输入待抠图的自然图像及其对应的三值图给网络S,网络S预测出该自然图像对应的透明度遮罩,即抠图结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。