买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东达创网络科技股份有限公司申请的专利基于Transformer架构的自然语言处理模型的训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119129654B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411621030.4，技术领域涉及：G06N3/0455；该发明授权基于Transformer架构的自然语言处理模型的训练方法是由林舟;宋颜宁;王昌成设计研发完成，并于2024-11-14向国家知识产权局提交的专利申请。

本基于Transformer架构的自然语言处理模型的训练方法在说明书摘要公布了：本发明提供一种基于Transformer架构的自然语言处理模型的训练方法，属于大数据处理相关技术领域，包括步骤：获取输入的文本数据并进行预处理，将预处理后的文本送入基于Transformer网络架构的自然语言处理模型进行训练，网络的前馈网络的训练采用动态自适应神经优化算法，使用Transformer网络架构对输入文本进行上下文感知的语义分析后，通过采用基于路径积分的多层极限学习机分类算法，利用费曼路径积分策略建立从输入特征到输出分类结果的概率幅度模型。本发明通过优化网络的核心算法提升模型在任务理解和语义分析上的精度，方法能够捕捉复杂的语义关系，使得自然语言的处理更加智能化。

本发明授权基于Transformer架构的自然语言处理模型的训练方法在权利要求书中公布了：1.基于Transformer架构的自然语言处理模型的训练方法，包括步骤：获取输入的文本数据并进行预处理，将预处理后的文本送入基于Transformer网络架构的自然语言处理模型进行训练，其特征在于，Transformer网络架构的前馈网络的训练采用动态自适应神经优化算法，步骤如下：S11、设定前馈网络的初始参数，初始参数包括初始权重、初始偏差，定义影响前馈网络参数调整的控制参数；S12、进行前馈网络的迭代训练，根据迭代次数动态调整控制参数，采用衰减函数模拟物理系统中的能量耗散；S13、利用当前前馈网络参数和控制参数，通过动态自适应函数计算状态变量；S14、将状态变量通过非线性函数转换，生成新的参数更新方向，同时，采用随机脉冲干扰法策略实施随机干扰；S15、根据转换后的状态变量和既定的学习率更新前馈网络参数权重和偏置，同时，采用自适应阈值动态调整机制根据模型的当前性能自动调整关键参数的更新阈值；S16、在每次迭代后，通过计算前馈网络的损失函数评估当前模型在验证集上的性能；S17、基于性能评估的结果调整扩展系数和前馈网络权重的学习率，优化后续迭代的性能；步骤S12中，控制参数调整公式表示如下： ，式中，为平滑系数；为第t次迭代的前馈网络的控制参数；为当前迭代次数，为前馈网络控制参数的初始值；步骤S13中，动态自适应函数计算状态变量方式表示如下： ，式中，表示第次迭代的状态变量；为双曲正切函数；是扩展系数；为第次迭代的前馈网络的权重；步骤S14中，将状态变量通过非线性函数转换，以生成新的参数更新方向，具体为：利用状态变量计算下一步的权重更新方向，表示为： ，式中，为前馈网络的权重更新方向；是前馈网络的权重的学习率；为第次迭代的脉冲干扰项；脉冲干扰项的计算方式表示如下： ，式中，是干扰强度系数，是一个取值为{0，1}的随机变量，按照概率生成；是概率阈值；是符号函数，的作用是保证干扰方向与状态变量的符号相同，以维持更新的一致性方向；步骤S15中，根据转换后的状态变量和既定的学习率更新前馈网络参数权重和偏置，更新方式表示如下： ’ ‘式中，是第次迭代的前馈网络的损失函数，是前馈网络偏置的学习率，是损失函数关于偏置的梯度；为第次迭代的前馈网络的权重；为第次迭代的前馈网络的偏置；为第次迭代的前馈网络的偏置；为第次迭代的自适应阈值；自适应阈值计算方式表示如下： ，式中，是目标损失值，是调整阈值敏感度的超参数；步骤S16中，前馈网络的损失函数表示如下： ，式中，是第个输入到前馈网络的样本的真实值，是第次迭代模型对是第个输入到前馈网络的样本的预测值，是当前批次输入到前馈网络的样本数量；步骤S17中，扩展系数和前馈网络的权重的学习率调整方式表示如下： ， ，式中，为第次迭代的扩展系数，为第次迭代的前馈网络的权重的学习率；为第次迭代的扩展系数，为第次迭代的前馈网络的权重的学习率；是第一性能调整系数，是第二性能调整系数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东达创网络科技股份有限公司，其通讯地址为：250000 山东省济南市中国(山东)自由贸易试验区济南片区天辰路联合财富广场1号楼1301-1室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。