买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜之江实验室申请的专利基于云边协同的定制化深度神经网络模型压缩方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN112486686B 。

龙图腾网通过国家知识产权局官网在2025-02-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202011382009.5，技术领域涉及：G06F9/50；该发明授权基于云边协同的定制化深度神经网络模型压缩方法及系统是由梁松涛;高丰;杨涛;施佩琦;汪明军;郁善金;王晓江;郑欢欢设计研发完成，并于2020-11-30向国家知识产权局提交的专利申请。

本基于云边协同的定制化深度神经网络模型压缩方法及系统在说明书摘要公布了：本发明公开了一种基于云边协同的定制化深度神经网络模型压缩方法及系统，该方法基于云端经过长时间训练的高精度的网络模型，基于用户的个性化需求，将网络模型分类关注的分类和不关注的分类，然后结合关注的分类、用户的数据集和模型压缩的比例，通过基于知识整理的神经网络模型压缩方法，进行模型的轻量化，满足用户边缘侧节点资源受限的场景需求，提升模型推理的速度，同时保证一定的模型精确度。本发明基于用户关注分类需求和知识蒸馏技术的模型训练方法，并在图片分类的场景下基于公共的数据集进行了验证。

本发明授权基于云边协同的定制化深度神经网络模型压缩方法及系统在权利要求书中公布了：1.一种基于云边协同的定制化深度神经网络模型压缩方法，其特征在于，边缘侧的用户接收云端传输的深度神经网络模型，并根据用户的定制化需求和用户的数据集，进行深度神经网络模型的训练；采用云边协同的方法；由云端提供一个普适性更强的通用神经网络模型，而边缘侧根据用户的需求，使用边缘侧的硬件资源环境对模型进行二次训练和优化，以达到模型加速的目的；采用知识蒸馏的方法，来迁移云端提供的深度神经网络模型的特征到轻量化的网络模型中，包括两种实现方式：3.1、先经过全部分类蒸馏，然后对输出的轻量化模型进行处理；3.2、直接使用子类蒸馏训练的方法，包括两种实现方式：3.2.1、训练过程中，采用基于Logits的子类蒸馏的方式；3.2.2、训练过程中，采用基于Channels的子类蒸馏的方式；步骤3.1具体为：在分类任务中，每一个分类的概率其实都是使用Softmax函数计算得来的，而Logits实际上就是Softmax层的输入层；这里用zi来表示某一个分类i的输入，即某一类的Logits；而产生的这个类别的概率输出为 其中，C为分类的总个数，i＝1～C，T代表温度，用来控制从大模型进行信息蒸馏的软度；对expziT从1～C的求和；当T＝1时，表示使用标准的Softmax函数进行概率分布的计算；为了简化表示方法，使用来表示受温度控制的所有类别的概率分布，用p来表示T＝1时所有类别的概率分布；全类蒸馏损失total可以表示为 其中，α是超参数，用来表示知识从大模型迁移到轻量化模型所占的比例；Η是交叉熵损失函数，ps为轻量化模型标准softmax函数下概率分布，表示轻量化模型标定样本集下的真实标签0-1分布；KL表示KL散度损失函数，用来衡量轻量化模型和大模型输出的概率分布的差异；表示轻量化模型带温度参数T的软化softmax函数下的概率分布；表示大模型带温度参数T的软化softmax函数下的概率分布；基于Logits蒸馏训练的过程中，用户使用边缘侧的训练集，以大模型和轻量化模型组合形成的损失函数，参见公式2，做迭代的优化训练；大模型的参数不可变，轻量化的模型参数随着训练不断更新，最终完成一定数目的迭代后，结束训练过程；步骤3.2具体为：在子类蒸馏中，仍然采用公式2的损失函数，不过，需要对用户关注的类别进行修改；设所有分类的集合U＝{1,2,,C}，Uattention是用户关注的分类且则修改类别的输出概率为 其中，i’,j’∈Uattention，对expzj′T在Uattention上求和；步骤3.2.2具体为：基于Channels的子类知识蒸馏的方法采用两阶段训练的方法，第一阶段的目的是进行特征矩阵的匹配同步；即在保证大模型不变的情况下，训练出来一个与轻量化模型的尾部特征张量维度相同特征图；第二阶段，基于维度相同的特征图进行特征蒸馏；第一阶段：将大模型的最后一层卷积层后，添加一个嵌入卷积层来实现特征张量同步的过程；嵌入卷积层包括主要包括两层，第一层是1×1的卷积，第二层是SPP层；第一阶段的训练只是获取的1×1卷积层的参数，因此只需要用户使用自己的数据集，经过少量的epoch，就可以使得大模型的推理结果与加入嵌入卷积层后的结果保持一致；第二阶段：在定义轻量化模型时，需要将SPP层嵌入到全连接层前的最后一层卷积层；如果卷积层之后存在池化层，则使用SPP层替换掉池化层；这样，可以保证大模型和轻量化模型SPP层后的特征向量具有相同的维度；在特征蒸馏过程中，最主要的目标就是减少相同样本输入下的，大模型的特征与轻量化模型的特征之间的迁移损失；所以，首先需要有一个差异性距离的度量方法；进行向量距离度量常用的方法有L1,L2,MMD；在第二阶段模型训练过程中，大模型的参数在梯度计算过程中不做改变，只需要对轻量化模型的参数进行更新即可；根据数据源和用户业务场景的不同，训练集可以使用云端提供的公共数据集，也可以使用边缘侧用户的私有数据集。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：310023 浙江省杭州市余杭区文一西路1818号人工智能小镇10号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。