首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于低位移秩的深度神经网络压缩 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:交互数字VC控股公司

摘要:一种用于执行深度神经网络压缩的方法和装置,使用近似训练集以及诸如表示权重、偏差和非线性的矩阵中的信息,来通过网络层权重矩阵的基于低位移秩的近似来迭代地压缩预训练的深度神经网络。所述低位移秩近似允许将预训练的深度神经网络的原始层权重矩阵替换为少量结构化矩阵的总和,从而允许压缩和低推断复杂度。

主权项:1.一种用于将表示深度神经网络的参数编码成比特流的方法,包括:获得表示深度神经网络的权重、偏置和非线性的信息,以及用于所述深度神经网络的图像数据的近似训练集;基于用于所述深度神经网络的至少一个第k层的所述权重、偏置和非线性并基于所述近似训练集来生成所述至少一个第k层的输入和输出,所述输入和输出表示图像数据;基于所获得的所述至少一个第k层的输入和输出来确定输出矩阵,所述输出矩阵用于导出所述至少一个第k层的所述权重的低位移秩近似;其中确定所述输出矩阵包括:通过最小化所生成的所述至少一个第k层的输出与从所述权重的低位移秩近似获得的相应输出之间的误差,使用所述至少一个第k层的当前批次的输入和输出来生成用于所述至少一个第k层的当前输出矩阵;基于所述当前输出矩阵更新针对先前迭代生成的输出矩阵;采用下一批次重复生成和更新,直到已经满足最小化准则;以及对所述输出矩阵的系数执行量化和熵译码以形成所述比特流。

全文数据:

权利要求:

百度查询: 交互数字VC控股公司 基于低位移秩的深度神经网络压缩

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。