买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京大学

摘要：本发明公开一种混合专家模型推理方法，属于深度学习machinelearning领域。本发明通过自适应和基于敏感度的专家门控机制，动态调整不同输入和每一层所需激活的专家数量，具有基于敏感度分析的自适应专家选取、自适应专家预取与自适应专家缓存三个核心机制，可以优化混合专家模型推理性能。本发明在保持精度不下降的前提下，平均减少了25％的专家激活数量，显著提高了MoE推理的效率，特别适用于边缘设备等内存受限的环境，具有重要的应用价值和广泛的应用前景。

主权项：1.一种混合专家模型推理方法，其特征在于，包括以下步骤：步骤1：给定一个自回归的混合专家模型M，其包含L层，每一层拥有N个专家E0，E1，...EN-1，将输入数据表示为X，其为形状为批大小，序列长度，隐藏层维度的张量，在前向传播过程中，对于第i层，计算该层MoE模块的输出Oi；在反向传播过程中，对于第i层，计算该层MoE模块输出Oi相对于损失L的梯度gi，其中i属于范围为[1，L]的整数；步骤2：对于任意的第i层，使用梯度gi计算该层MoE模块输出的Fisher信息矩阵Fi，公式为： 步骤3：对于任意的第i层，计算该层Fisher信息矩阵Fi对角线元素和，记作∑diagFi；步骤4：设置扰动阈值为Threshold，对于任意的第i层，如果当MoE层Top-1得分α满足：1-α2×∑diagFi≤Threshold则在该层仅调用Top-1的专家，否则调用Top-2的专家；步骤5：使用校准数据集D，基于步骤1-4统计在扰动阈值Threshold下，每层仅调用Top-1专家的比例Yi；步骤6：使用校准数据集D，统计模型M每一层专家预取正确率βi；步骤7：将显存中最多存放的专家数量上限记作T，量化当每层有ti个专家被缓存在显存中时，平均需要动态加载的专家数量期望fi，t；步骤8：将最小化按需加载开销问题进行形式化表述，目标为： 约束条件为： 步骤9：使用动态规划算法对步骤8的问题进行求解，确定专家缓存分配方案；步骤10：进行在线推理流程，对于第i层的MoE模块，采用步骤1-4，获得当前层需要调用的专家，如果该专家不在显存中，将该专家插入访存队列队首；如果该专家在显存中，将该专家插入计算队列。

全文数据：

权利要求：

百度查询： 北京大学 一种混合专家模型推理方法