买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜四川大学申请的专利一种面向医学大模型压缩的混合动态剪枝方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118780338B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410901076.5，技术领域涉及：G06N3/082；该发明授权一种面向医学大模型压缩的混合动态剪枝方法是由刘济远;刘伟;孙亚楠;苟攀;范嘉豪;卢奥军;宋孝天;柯俊超设计研发完成，并于2024-07-05向国家知识产权局提交的专利申请。

本一种面向医学大模型压缩的混合动态剪枝方法在说明书摘要公布了：本发明公开了一种面向医学大模型压缩的混合动态剪枝方法，采用基于混合稀疏预测的稀疏预测器，相比其他单纯基于动态稀疏预测的动态剪枝方法具有降低性能损失的优势。有效解决目前医学大模型压缩后性能下降严重的问题，并提高模型推理速度，为实现高稀疏化，高性能的大模型在实际应用的推广和应用提供了可行的解决方案。

本发明授权一种面向医学大模型压缩的混合动态剪枝方法在权利要求书中公布了：1.一种面向医学大模型压缩的混合动态剪枝方法，其特征在于，包括以下步骤：S1、构建医学大模型；所述医学大模型中的每层大模型块包括多头注意力层和前馈神经网络层；S2、对医学大模型的输入文本进行嵌入编码和位置编码后，将其作为医学大模型的第一训练数据进行前向推理，并在前向推理过程中保存注意力头序列和神经元序列；其中，将注意力头序列、神经元序列和输入文本组成第二训练数据；S3、构建混合稀疏预测器，包括动态稀疏预测器和静态稀疏预测器；S4、利用第二训练数据对动态稀疏预测器进行训练，并预测输出各多头注意力层中所有注意力头和前馈神经网络层中所有神经元的动态重要性排序；S5、利用静态稀疏预测器预测输出各多头注意力层中所有注意力头和前馈神经网络层中所有神经元的静态重要性排序；S6、根据动态重要性排序和静态重要性排序，确定各层大模型块的稀疏掩码，并根据其对医学大模型进行剪枝，得到压缩后的医学大模型；所述步骤S4具体为：利用第二训练数据针对多头注意力层和前馈神经网络层分别对所述动态稀疏预测器进行训练，得到对应的动态稀疏预测器；其中，对多头注意力层进行训练的表达式为： 对前馈神经网络层进行训练的表达式为： 式中，表示注意力头的动态重要性指标，表示神经元的动态重要性指标，表示预测器函数；利用完成训练的动态稀疏预测器分别对对应的多头注意力层和前馈神经网络层中的注意力头和神经元进行动态重要性排序；所述步骤S5中，所述静态稀疏预测器的机制为：通过每层大模型块的权重矩阵的L2范数进而计算各层大模型块中注意力头和神经元的重要性，并对其进行静态重要性排序；其中，对于大模型块中的多头注意力层，利用对注意力头进行重要性评估，将其权重矩阵重组为，然后计算对应注意力头的L2范数，得到注意力头的静态重要性指标，其表达式为： 对于大模型块中的前馈神经网络层，对根据L2范数对各神经元进行重要性评估，得到神经元的静态重要性指标，其表达式为： 其中，H表示注意力头数量，d代表注意力维度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川大学，其通讯地址为：610044 四川省成都市一环路南一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。