买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜微软技术许可有限责任公司申请的专利高性能流水线并行深度神经网络训练获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN112154462B 。

龙图腾网通过国家知识产权局官网在2025-01-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：201980033991.4，技术领域涉及：G06N3/063；该发明授权高性能流水线并行深度神经网络训练是由V·塞沙德利;A·费尼沙耶;D·纳拉亚南;A·哈拉普;N·D·兰格拉詹设计研发完成，并于2019-05-07向国家知识产权局提交的专利申请。

本高性能流水线并行深度神经网络训练在说明书摘要公布了：使用DNN的简档将深度神经网络DNN的层划分为多个阶段。阶段中的每个阶段包括DNN的层中的一个或多个层。将DNN的层划分为多个阶段以各种方式被优化，包括优化划分以最小化训练时间，最小化用于训练DNN的工作者计算设备之间的数据通信，或确保工作者计算设备执行大致相等量的处理来训练DNN。阶段被分配给工作者计算设备。工作者计算设备使用调度策略来处理训练数据的批次，该调度策略使得工作者在DNN训练数据的批次的前向处理与DNN训练数据的批次的后向处理之间交替。这些阶段可以被配置成用于模型并行处理或数据并行处理。

本发明授权高性能流水线并行深度神经网络训练在权利要求书中公布了：1.一种用于使用处理流水线训练深度神经网络DNN模型的计算机实现的方法，所述方法包括：通过在预定时间周期内利用DNN训练数据的子集在多个工作者计算设备上执行所述DNN模型来生成所述DNN模型的简档，所述DNN训练数据包括多个微型批次并且所述DNN模型包括多个层；基于所述简档将所述DNN模型的所述多个层划分为多个阶段，其中所述多个阶段中的每个阶段包括所述DNN模型的所述多个层中的一个或多个层，并且其中所述划分最小化训练所述DNN模型的时间；基于所述划分将所述多个阶段分配给所述多个工作者计算设备；在启动状态下，允许所述DNN训练数据的所述多个微型批次的子集到所述处理流水线，其中所述多个微型批次的所述子集包括若干微型批次，使得所述多个工作者计算设备中的单个工作者计算设备在稳定状态期间不是空闲的；以及使用一次前向、一次后向调度策略来训练所述DNN模型，由此在所述稳定状态下：所述多个工作者计算设备中的第一工作者计算设备在第一分配阶段中对所述DNN模型的所述多个层执行前向处理和后向处理，并且所述多个工作者计算设备中的第二工作者计算设备在第二分配阶段中对所述DNN模型的所述多个层执行前向和后向处理，所述第二分配阶段不同于所述第一分配阶段，所述多个工作者计算设备中的所述第一工作者计算设备交替执行训练数据的所述多个微型批次的所述子集中的第一微型批次的前向处理和训练数据的所述多个微型批次的所述子集中的所述第一微型批次的后向处理，以及所述多个工作者计算设备中的所述第二工作者计算设备交替执行训练数据的所述多个微型批次的所述子集中的第二微型批次的前向处理和训练数据的所述多个微型批次的所述子集中的第三微型批次的后向处理，训练数据的所述多个微型批次的所述子集中的所述第三微型批次不同于训练数据的所述多个微型批次的所述子集中的所述第二微型批次。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人微软技术许可有限责任公司，其通讯地址为：美国华盛顿州；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。