恭喜复旦大学周水庚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜复旦大学申请的专利一种基于超球几何结构的持续学习方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117114128B 。
龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310972905.4,技术领域涉及:G06N20/00;该发明授权一种基于超球几何结构的持续学习方法是由周水庚;任一鑫;薛晖;李裕宏;柯力设计研发完成,并于2023-08-03向国家知识产权局提交的专利申请。
本一种基于超球几何结构的持续学习方法在说明书摘要公布了:本发明属于机器学习技术领域,具体为一种基于超球几何结构的持续学习方法。本发明方法包括:将视觉特征投影到超球空间中,在这个较低维的嵌入空间中构建类别原型,并进行持续学习;基于超球结构,设计了基础训练方案,包括实例原型紧性损失函数来减少类间距离,以及类间原型分离损失函数来最大化类间的分离性;设计了增量学习方案,包括原型的构建和适应策略,以有效地适应新的类;以及实例原型关系保持蒸馏方案来克服灾难性遗忘的问题。以上方法在多个图像数据集上进行了实验验证,证明方法的优越性。本发明能够帮助深度学习模型在增量学习场景下的具有对未来数据更强的适应能力并且有助于克服对旧数据的灾难性遗忘问题。
本发明授权一种基于超球几何结构的持续学习方法在权利要求书中公布了:1.一种基于超球几何结构的持续学习方法,其特征在于,包括基础超球几何结构的训练方案设计,增量学习过程中适应新类以及克服旧类灾难性遗忘的方案设计;具体步骤为: 一基础训练方案设计:设计模型的基础训练损失函数,包括设计实例原型紧性损失函数,来减少类内距离,设计类间原型分离损失函数,来最大化类间的分离性; 二增量学习方案设计:包括设计原型的构建和适应策略,以有效地适应新的类;设计实例原型关系蒸馏方案,以克服灾难性遗忘的问题; 步骤一中所述基础训练方案设计,具体流程为: 取输出空间为d-1维的超球,定义如下: 将视觉特征x即原始图像投影到这个超球空间中,通过一个特征提取器fΘ作为主干网络,之后通过非线性投影头gΦ进一步投影到超球几何空间实现,其中Θ,Φ为模型的可学习参数,最后得到归一化范数的嵌入:z=gΦfΘx;其中,fΘ选用残差网络,gΦ为两层全连接层结合ReLU非线性层实现; 为了描述z的分布,利用冯米塞斯-费舍尔vMF分布进行建模,其定义如下: fdz;μ,κ=CdκexpκμTz,2 其中,k是集中化参数,μ为具有单位范数的向量,用来平均方向,Cdκ是标准化常数;利用vMF分布,建模由不同类别的嵌入形成的联合分布;假设每个类别嵌入的中心形成的原型矩阵为Mp:=[p1,p2,…,pC],其中pc为类别c对应的分布中心,其具有归一化范数;通过vMF分布将类别c的嵌入分布进行描述,得到概率分布结果: 其中,κc表示类原型的集中化参数,则对于给定的嵌入z,其属于类别c的后验概率为: Mp为原型矩阵,简化起见,对于不同的类别取相同的中心化参数,则有: 接下来,对于给定的样本通过最大化对数似然,使每个类的分布集中于对应的类别原型周围: 其中,ci表示样本xi属于的类别,Θ,Φ为模型的可学习参数,C为总的类别数,zi表示第i个样本计算得到的嵌入; 为了利用反向传播进行优化,对其取对数之后得到实例原型紧性损失函数如下: 除了最大化紧性外,进一步最大化类间的分离性,这通过最大化类别原型之间的角度来实现,具体地,对于给定的原型矩阵Mp:=[p1,p2,…,pC],计算其两两间的平均角度,得到结果: 为了与实例原型紧性损失函数统一格式并且便于优化,将式8进一步通过对数指数方法进行转化,得到类间原型分离损失函数: 在每一次优化过程之后,对类别原型进行更新,具体采用指数平滑的增量更新策略来实现;对于类别c,具体通过下式实现: 其中,为当前得到的一批样本的嵌入平均,其中zc为类别c对应的嵌入,zci对应第i个样本,|zc|表示总的样本个数;超参数γ用来控制更新的速度,设定为一个靠近1的值; 通过优化以上的式7和9的目标函数,结合式10的类别原型更新步骤,便完成基础训练的过程,即在超球几何上获得最大化类内紧性以及最大化类间分离的嵌入。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人复旦大学,其通讯地址为:200433 上海市杨浦区邯郸路220号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。