买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国科学技术大学申请的专利轻量混合专家模型架构系统及其实现方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119026693B 。

龙图腾网通过国家知识产权局官网在2025-02-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411481753.9，技术领域涉及：G06N5/043；该发明授权轻量混合专家模型架构系统及其实现方法是由李诚;詹红瑞;金泽文;朱嘉安设计研发完成，并于2024-10-23向国家知识产权局提交的专利申请。

本轻量混合专家模型架构系统及其实现方法在说明书摘要公布了：本发明公开了一种轻量混合专家模型架构系统及其实现方法，它们是相对应的方案，方案中：在通信前与通信后分别引入降维和升维操作，将传统的通信‑计算‑通信模式转变为降维‑通信‑计算‑通信‑升维的新模式，能够减少数据迁移通信的内容量，从而有效地降低通信开销；并且，本发明提供的模型架构可以按照部署时的并行方案进行划分，使用各种训练框架部署，从而在GPU（图形处理器）上高效地进行推理和训练任务。

本发明授权轻量混合专家模型架构系统及其实现方法在权利要求书中公布了：1.一种轻量混合专家模型架构系统，其特征在于，包括：每一层均配置有轻量混合专家结构的大语言模型；所述轻量混合专家结构包括：门限网络、降维操作单元、多个专家、输出组合单元以及升维操作单元；其中：所述门限网络对输入的词元数据进行判别，确定词元数据与各专家的对应关系；所述降维操作单元对词元数据进行降维操作，并将降维后的词元数据传输至对应的专家；各专家接收到降维后的词元数据后做并行处理；所述输出组合单元将各专家并行处理的结果进行组合后输出；所述升维操作单元对输出组合单元的输出进行升维操作，获得与所述输入的词元数据相同维度的输出结果；还包括：将所述每一层均配置有轻量混合专家结构的大语言模型应用于训练或推理任务时，设计轻量混合专家结构的并行化方案，包括：将升维矩阵与降维矩阵分别作DP化处理时的并行化方案，步骤包括：对升维矩阵与降维矩阵分别作DP化处理，通过DP化处理后的降维矩阵对输入数据进行降维，然后，先通过数据迁移通信将数据从SP转化为TP形式，再通过EP方式的数据迁移通信后，经全体收集操作传输至相应的专家；各专家的输出经过输出组合单元进行规约分散操作并通过EP方式的数据迁移通信，再通过数据迁移通信将数据从TP转化为SP形式后到达升维操作单元，经过DP化处理后的升维矩阵对进行升维处理，获得输出结果；其中，DP表示数据并行，TP表示张量并行，EP表示专家并行，SP表示序列并行；将升维矩阵与降维矩阵分别作TP化处理时的并行化方案，步骤包括：对升维矩阵与降维矩阵分别作TP化处理，对输入词元数据数据在序列维度进行全体收集操作，再通过TP化处理后的降维矩阵进行降维；并通过EP方式的数据迁移通信传输至相应的专家；各专家处理过程涉及两个矩阵，第一个矩阵为专家中的升维矩阵，第二个为专家中的降维矩阵，将第一个矩阵按照列进行切分，第二个矩阵按照行进行切分，通过切分后的第一个矩阵以及激活函数处理后，获得多个激活输出，将所有激活函数进行聚合，再通过切分后的第二个矩阵处理，获得专家的输出；各专家的输出经过输出组合单元组合并以EP方式的数据迁移通信传输至升维操作单元，由TP化处理后的升维矩阵进行升维，最终，通过规约分散操作将数据转化为SP形式后，获得输出结果；其中，TP表示张量并行，EP表示专家并行，SP表示序列并行。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。