买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于通道共享与复合父模型的多任务增量学习方法及系统，本发明的方法是一种新颖的用于渐进式多任务学习的细粒度通道级参数共享方法，本发明的方法是即插即用的，可以在任何网络结构上进行高效的参数共享。细粒度的通道级参数共享使本发明能够有效地利用预训练权重，而不需要强烈的假设，并且相比微调和其他现有的参数共享方法，不会浪费参数。此外，本发明的方法通过构建一个复合父模型来减少任务之间知识共享的成本。并且，细粒度的通道级参数共享与骨干结构和训练方式无关，可以通过最小的修改应用于任何网络的训练循环中。本发明在保持最佳精度‑参数比的同时，使用各种骨干结构实现了更加先进的性能。

主权项：1.一种基于通道共享与复合父模型的多任务增量学习方法，其特征在于，包括以下步骤：S1、获取用于进行增量学习与多任务学习的图像训练数据集，所述图像训练数据集包含对应每个任务的增量子数据集，且每个增量子数据集均带有标签；S2、针对增量子数据集对应的一个增量子任务，获取一个预训练的图像骨干网络，所述图像骨干网络在图像预训练数据集上训练，所述图像预训练数据集对应预训练的任务，同时确定图像分类网络参数共享的层级；S3、针对每个增量子任务的图像分类网络进行初步微调训练后，获取每个增量子任务对应的复合父模型，用于后续参数共享；S4、为每个增量子任务的微调后的图像分类网络中每个参数共享层级构建新的推理方式；S5、对每个增量子任务的微调后的图像分类网络在对应的增量子数据集上进行三阶段的训练，其中，三阶段按照训练的先后顺序依次为软掩码训练、硬掩码训练、以及后训练；在图像分类网络的训练过程中，获得步骤S4新的推理方式中的可训练的参数值，并对新的推理方式进行剪枝，对微调后的图像分类网络中的每个参数共享层级进行化简，得到参数共享层级新的参数；S6、当每个增量子数据集对应的图像分类网络完成三阶段的训练后，视为一次任务遍历，任务遍历的次数根据预先设定的任务设置确定；当仅需要进行一次任务遍历时，将完成三阶段训练的图像分类网络作为训练好的图像分类网络；当需要进行多次任务遍历时，在进行第二次及后续的任务遍历中，对于每个增量子任务，将新获取的性能更好的图像分类网络替换掉在上一个任务遍历中保存的图像分类网络，当达到预先设定的任务遍历次数后，将得到的性能最好的图像分类网络作为训练好的图像分类网络，用于对增量子任务的处理。

全文数据：

权利要求：

百度查询： 浙江大学 基于通道共享与复合父模型的多任务增量学习方法及系统