买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开一种基于梯度架构搜索的表现预测压缩方法，属于神经网络压缩与加速技术领域，通过在图像分类训练集中进行搜索训练，通过softmax函数将搜索空间松弛为连续，采用放射缩放变换在保证优化结果不变的情况下，解决内点优化问题，以提高网络模型的鲁棒性，产生梯度优化网络模型；之后以准确率为基准对梯度优化网络模型进行训练，根据表现情况进行排序，并与图像分类验证集进行比较以评估网络性能，迭代更新梯度优化网络结构，以减少训练时间并提高网络精度，最后对所得梯度优化网络结构进行离散化微调和剪枝微调，从而在图像分类任务中实现轻量化网络结构的压缩。

主权项：1.一种基于梯度架构搜索的表现预测压缩方法，其特征在于，包括以下步骤：S1：根据图片分类训练集对构建的连续搜索空间依次进行节点优化和内点优化，训练后获得梯度优化网络模型，具体过程为：S11：根据图像分类数据集中的图片分类训练集，构建由5个block组成的训练集，各block包括两种不同的cell；S12：初始化宽度和深度分别为N和F的搜索空间，定义搜索空间中cell与block之间的关系为：Cellm的输出为其中，Cellm代表第m个cell；b代表各block的编号；S13：对搜索空间进行归一化，得到连续搜索空间；S14：对连续搜索空间进行训练，具体包括：S141：采用梯度优化算法对连续搜索空间进行节点优化，具体为：对于在第b个block的Cellm，将其之前所有输出作为Cellm的cell节点图，定义连续搜索空间为： 其中，xj为Cellm的cell节点图中的第j个节点；oi,j代表有向边运算操作；xi为Cellm的cell节点图中的第i个节点；采用softmax函数对所有cell的cell节点图中的所有节点进行松弛，将连续搜索空间的训练过程转化为对连续变量的节点优化过程，即 其中，代表对第v个cell和第u个cell之间的有向边ev,u进行运算o操作；argmax代表最大值自变量点集函数；为有向边ev,u上进行Ο操作运算后的最优解；将连续变量α作为上层变量，作为下层变量，产生节点优化过程的损失问题；S142：基于连续搜索空间中的权重，采用放射缩放变换方法对连续搜索空间进行内点优化；S143：基于节点优化和内点优化训练连续搜索空间，随机获得一个超参数γ，根据γ的大小获取梯度优化网络模型；S2：针对梯度优化网络模型，使用表现预测算法搜索训练和评估验证，获得候选梯度优化网络结构，具体过程为：S21：令c＝1，并初始化预测器函数；S22：采用梯度优化网络模型对第c个block进行搜索，得到所有可重复的cell，并按照NASNet规则搭建Sc个子网络，使用梯度下降算法训练各子网络，获得对应的图像分类准确率；其中，Sc代表第c个block所搭建的子网络个数总和；S23：根据各子网络的表现情况进行排序，选择前K个表现最好的子网络；S24：采用前K个表现最好的子网络，训练预测器函数，得到第c个block的预测器函数；S25：令c＝c+1，重复S22，获得第c个block对应的子网络及对应图像分类准确率；通过S24所得第c-1个block的预测器函数，滤除第c个block对应的子网络中所有低于第c-1个block的预测器函数阈值的子网络；根据第c个block对应的剩余子网络和S23所得前K个表现最好的子网络的表现情况进行排序，选择前K个表现最好的子网络；S26：重复S24，获得第c个block的预测器函数；S27：循环S25～S26，直至c大于5，停止循环，获得最终预测器函数；S28：基于最终预测器函数，将梯度优化网络模型与第5个block对应的前K个表现最好的子网络进行比较，获得表现情况最好的网络结构，作为候选梯度优化网络结构；S3：将图片分类验证集输入至候选梯度优化网络结构，若输出的图像分类准确率低于预设值，则调整S1中连续搜索空间的宽度和深度，重新获得梯度优化网络结构；否则，将候选梯度优化网络结构作为梯度优化网络结构；S4：对梯度优化网络结构进行离散化微调和剪枝微调，获得图像分类轻量化剪枝后网络，具体过程为：S41：对所得梯度优化网络结构进行离散化；S42：观察离散化后梯度优化网络结构中各层的权重幅值，通过梯度下降算法，获得离散化后梯度优化网络结构中最小的权重梯度，设定为阈值；对所有权重进行梯度更新，剪切掉权重幅值在阈值之下的权重并设为0，构建出剪枝后权重，得到初步剪枝后梯度优化网络结构；S43：对所得初步剪枝后梯度优化网络结构的权重进一步微调，直到初步剪枝后梯度优化网络结构收敛，得到图像分类轻量化剪枝后网络。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于梯度架构搜索的表现预测压缩方法