买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工业大学

摘要：本发明提供了一种基于快速网络架构搜索的跨任务图像分类方法，用于在多个图像分类任务中搜索最佳的神经网络架构。具体包括以下步骤，步骤1、获取用于神经网络架构搜索的多任务数据集，步骤2、构建一个包含候选网络权重的超级网络和一个由候选网络结构编码而成的结构种群，步骤3、在多任务数据集上进行跨任务搜索，搜索结果包含超级网络和结构种群，步骤4、基于步骤3的搜索结果，在新任务上快速搜索最佳网络架构。本发明适用于多任务但单个任务内图片数量非常少的情况下的神经网络架构自动搜索，相比其他神经网络架构搜索方法，搜索到单任务上分类性能最佳的网络的时间要少30倍。

主权项：1.一种基于快速网络架构搜索的跨任务图像分类方法，具体步骤如下：步骤1：获取用于神经网络架构搜索的多任务数据集，将数据集划分为含有训练数据的Dmtrain和含有测试数据的Dmtest，无论是Dmtrain还是Dmtest，从数据集随机采样图片组成任务集，每个任务看作一个任务样本实例，样本内包含N个类别，每类中有K0个训练样本，K1个测试样本，将N×K0个样本组成的任务训练集的集合称为支持集N×K1个样本组成的任务测试集的集合称为查询集Dmtrain中的单个支持集作为个体在单个任务内训练的训练集，Dmtrain中的单个支持集则作为个体在单个任务内进行测试的测试集；步骤2：构建一个包含候选网络权重的超级网络和一个由候选网络结构编码而成的结构种群，超级网络由单元块堆叠而成，单元块候选操作有3×3分离卷积、5×5分离卷积、7×7分离卷积、Xception结构；单元块内部则根据搜索空间设置相应的候选操作，每个单元块只选择一种候选操作，使得超级网络随机组成一种网络结构，在超级网络每一步优化过程中，有且仅有一个子网权重被更新，最优超级网络的权重更新公式如下： ΓA是先验分布，采用均匀采样，W表示超级网络权重，Wa表示a结构的子网权重，子网的结构更新公式如下： 将可能生成的网络结构进行编码形成个体，此时所有个体的集合即初始结构种群；步骤3:在多任务数据集上进行跨任务搜索，搜索结果包含元超级网络和元结构种群，搜索过程包含两个阶段，超级网络的权重参数更新阶段和结构更新阶段，这两个阶段交替进行；步骤3-1:超级网络的权重参数更新阶段，超级网络中每个单元随机选择一个候选操作，组成被优化的网络个体其他候选操作组成的个体不会参与优化，个体权重参数Wi，超级网络权重参数W，基于步骤1，得到支持集查询集在个体的训练过程中，X表示为输入数据，即图片；此时网络的预测为在第j个任务上的损失表示为其中是评估指标，不同的任务不一样，个体网络对每个任务都经过m次学习，其中m是一个较小的整数，个体在第j个任务上按照式3更新权重： 当所有个体在所有任务训练完毕后，计算所有子网络在第m步中获得的差向量，超级网络的权重参数按照式4更新，得到适应多任务的超级网络； 参数∈每轮迭代后发生衰减，衰减公式如下， 其中n表示当前训练次数，N表示总训练次数；步骤3-2：在超级网络的权重参数更新的同时，使用进化算法更新结构参数A，基于进化算法优化网络结构，具体步骤包括测试、筛选、交叉和变异和构建新种群，当超级网络的权重参数经过几轮更新之后，我们对种群中的每个个体进行性能测试，从而保留下部分性能较好的个体用于交叉和变异，从Dmtest中随机抽取一批测试集作为任务，然后让种群中的每个个体对这批任务分别进行M次更新；然后计算每个个体在这批任务上的性能；为了加快测试速度，使用随机森林模型预测种群中每个个体的正确率；筛选：在经过测试后，每个个体都有一个性能评分，将评分高的个体保留下来，评分低的个体则被剔除出种群中；交叉和变异：保留下来的个体有一定概率进行交叉和变异操作，将个体的结构编码视为个体的基因，编码中的单元视为染色体，交叉操作是在保留的种群中选两个个体，两个个体的染色体某一相同位置处被切断，前后两串分别交叉组合形成两个新的染色体，变异操作则是被保留的个体在进行复制时某一部分的染色体有非常小的概率可能会突变为其他的染色体，即复制完后可能跟原来个体一模一样，也可能某一些染色体不一样；构建新种群：在经过交叉和变异后，继续随机生成一批新的候选网络结构，补充到种群中维持种群数量不变，跳转到步骤3-1；步骤3-1和步骤3-2循环执行直至达到预设循环次数，最终得到对多任务具备良好适应性的超级网络和网络架构种群；步骤4：在面对新的任务时，直接用在元数据集上搜索得到的元种群作为新任务的初始化种群，然后再基于连续进化算法对元种群进行快速的更新，得到在新任务上最优的网络结构，与步骤3的操作不同的是，迁移时的种群不再随机产生新个体，而是仅有结构种群中的个体进行交叉变异得到新个体，并且每次进化之后种群的数量都会减少一半，进化到最后剩下的个体即为最优网络。

全文数据：

权利要求：

百度查询： 浙江工业大学 一种基于快速网络架构搜索的跨任务图像分类方法