恭喜内蒙古工业大学刘文静获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜内蒙古工业大学申请的专利一种面向通用多视图对象聚类的对象视图蒸馏方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116863177B 。
龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310700264.7,技术领域涉及:G06V10/762;该发明授权一种面向通用多视图对象聚类的对象视图蒸馏方法是由刘文静;李海龙;许志伟;王钢设计研发完成,并于2023-06-14向国家知识产权局提交的专利申请。
本一种面向通用多视图对象聚类的对象视图蒸馏方法在说明书摘要公布了:一种面向通用多视图对象聚类的对象视图蒸馏方法,收集若干样本的初始多视图数据;构建自编码器,教师网络,学生网络和知识蒸馏;编码器将样本的视图投影成潜在表示,并构造低维潜空间;利用多视图数据训练教师网络;利用多视图数据训练学生网络,并将知识蒸馏生成的暗知识作为一种新的自监督信号来指导学生网络进行微调;将整个原始多视图数据集馈送给整体网络,通过学生网络获得所有视图聚类的概率分布,对每个视图的概率进行加权和求和,得到最终的聚类结果;本发明使用知识蒸馏方法解决多视图聚类算法中伪标签对模型训练的错误引导以及纠正不准确的特征,显著提升聚类表现。
本发明授权一种面向通用多视图对象聚类的对象视图蒸馏方法在权利要求书中公布了:1.一种面向通用多视图对象聚类的对象视图蒸馏方法,其特征在于,包括如下步骤:步骤1,每个样本的视图数据数量为V,收集N个样本的初始多视图对象数据;步骤2,构建自编码器、教师网络、学生网络和知识蒸馏;所述自编码器由编码器和解码器组成,被所有视图所共享,编码器将每个样本的视图X1,X2,...,XV分别投影成潜在表示Z1,Z2,…,ZV,并构造低维潜空间;解码器将所述潜在表示重新映射为视图;其中,所述教师网络由对比模块构建一个独立的高维子空间,通过在该高维子空间中的对比学习间接改善互信息的下边界,并将学习到的高维特征线性地分离成伪标签;所述学生网络由学生网络wp、学生网络ws和对比模块组成,学生网络wp将学生网络ws的特征转换为概率分布,并将其用作蒸馏的软标签,对比模块构建一个独立的子空间,通过在该子空间中的对比学习捕获高维层次公共表示,以及在原始低维特征空间中的潜在表示X1,X2,…,XV成对地最大化互信息;所述知识蒸馏利用教师网络输出k维特征,通过调整温度和添加Softmax激活功能,将一维伪标签转换为k维暗知识,所述暗知识包含伪标签中不包含的基本层次信息,将最终蒸馏获得的暗知识用作基础真相,作为自监督信号指导特征学习;步骤3,利用自编码器输出的多视图数据训练教师网络,方法如下:构建深度自动编码器,通过最小化使自动编码器能够将异构多视图数据转换为集群友好的潜在表示,其中: 为自动编码器将异构多视图数据转换为潜在表示的评价指标,对于第v个视图,fv是编码器,gv是解码器,表示第n个特征向量,所学习的潜在表示被定义为Zv,表示第n个潜在表示,是Zv的重建视图;在低维层次结构的不同视图之间最大化互信息,称为不变信息聚类,该不变信息聚类表示为: 表示最大化互信息,I代表互信息,表示所学习的第v′个视图的第n个潜在表示步骤4,利用自编码器输出的多视图数据训练学生网络,所述学生网络被训练来预测一批中n×n个可能的对中的哪一个实际发生;学生网络wp通过最大化对角线上n个正样本对的和的余弦相似性,同时最小化n2-n个负样本对的嵌入的余弦相似性,以学习多视图嵌入空间特征矩阵特征矩阵中的成对相似度通过余弦相似度来度量: 其中和表示样本对,表示转置,和是学生网络wp将嵌入和转换得到的概率分布,和是潜在表示和馈送到学生网络ws得到的嵌入;学生网络和教师网络使用相同的特征学习方法,给定样本对和优化对称交叉熵损失: 在所有视图上计算样本对和的对比损失,并扩展到V≥2,如下所示: 是优化学生网络的表示,τs为控制分布柔和度的学生网络温度参数,为样本对;步骤5,利用知识蒸馏,将教师网络生成的伪标签转换为暗知识,为学生网络提供优化方向并指导进行微调,直至学习完毕;步骤6,将原始多视图数据集馈送给整体网络,学生网络分支中的预测器将获得所有视图聚类的概率分布,对每个视图的概率进行加权和求和,得到最终的聚类结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人内蒙古工业大学,其通讯地址为:010080 内蒙古自治区呼和浩特市土默特左旗内蒙古工业大学金川校区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。