买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东大学;山东省工业技术研究院申请的专利基于多层带权残差自注意力和LSTM的手语手势序列识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119068557B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411556188.8，技术领域涉及：G06V40/20；该发明授权基于多层带权残差自注意力和LSTM的手语手势序列识别方法是由张敬林;朱雨晗;侯泽媛;丁世娇设计研发完成，并于2024-11-04向国家知识产权局提交的专利申请。

本基于多层带权残差自注意力和LSTM的手语手势序列识别方法在说明书摘要公布了：本发明涉及深度学习技术领域，尤其是提供了基于多层带权残差自注意力和LSTM的手语手势序列识别方法。该方法包括构建并获取优化后的手语手势序列识别模型；通过访问开发的前端网页，以及通过摄像设备采集手语和手势序列视频，并将其传回至服务器进行处理，获得处理后的手语和手势序列信息；将处理后的手语和手势序列信息输入优化后的手语手势序列识别模型，得到识别结果；并将识别结果传回至前端网页，以文本和语音的形式呈现，该方法通过改进模型算法，使用多层带权残差自注意力网络和轻量LSTM实现连续手语和双手手势序列识别，提高了手语手势识别的普及性，降低了操作的复杂性，并请扩大了听障患者的适用范围。

本发明授权基于多层带权残差自注意力和LSTM的手语手势序列识别方法在权利要求书中公布了：1.一种基于多层带权残差自注意力和LSTM的手语手势序列识别方法，其特征在于，所述方法包括：步骤1、构建数据处理函数，对训练数据集与测试数据集进行预处理，获得预处理后的训练数据集与测试数据集；步骤2、构建基于多层带权残差自注意力和长短期记忆网络LSTM的手语手势序列识别模型；步骤3、通过步骤1中的预处理后的训练数据集对步骤2中的手语手势序列识别模型进行迭代训练和优化，获取优化后的手语手势序列识别模型；步骤4、加载步骤3中优化后的手语手势序列识别模型的权重，并将步骤1中预处理后的测试数据集输入步骤4中优化后的手语手势序列识别模型，获得测试结果；步骤5、通过访问开发的前端网页，以及通过摄像设备采集手语和手势序列视频，并将其传回至服务器进行处理，获得处理后的手语和手势序列信息；步骤6、将步骤5中处理后的手语和手势序列信息输入步骤4中优化后的手语手势序列识别模型，得到识别结果；并将识别结果传回至前端网页，以文本和语音的形式呈现；所述步骤2包括：步骤21、将模型分为编码器Encoder和解码器Decoder两部分；对属于同一视频的图像组的每张图像进行卷积处理提取图像特征，使用2×2的卷积核，步长为2，并加入最大池化层Maxpool，得到每张为160×90像素的图像；首先通过BatchNorm2d函数对数据进行归一正则化，其公式表达为：，其中x为传入数据二维张量中的值，mean和var分别为均值和方差，e、gamma、beta为可调参数；其次，使用Relu函数和Tanh函数，其公式表达分别为：，，其中为输入张量中的各个值；最后，使用激活函数LeakyReLU，其公式表达为：，其中为输入的量，为可调参数值，得到提取特征后的数据；将获得的特征数据投影到一维空间，得到输入张量，其中b为batchsize，l为提取的图像序列的长度，v为特征向量；步骤22、将步骤21中的输入张量，首先经过Transformer模块的编码器Encoder，进行多层自注意力的预处理，其公式表达为：，，其中，attention（·）表示自注意力处理；sorftmax（·）表示归一化函数；T表示矩阵的转置；表示参数，取值为64；Mulatt表示自注意力处理的结果张量；comcat（·）表示各头结果合并函数；至均表示自注意力头的结果；h表示第h个自注意力头，Q、K、V分别为张量X与权重矩阵、、乘积得到的结果，Q、K、V分别表示查询张量、键张量、值张量；为学习参数；经过自注意力机制处理，得到序列中各部分权重，逐位将其与输入张量相乘，其表示为，，其中为输出张量，为输入张量，encoder（·）表示多层自注意力权重生成函数；得到具有注意力权重处理后的特征信息，并将其作为编码器Encoder的最终结果传入解码器Decoder中；步骤23、根据步骤22将结果传入解码器Decoder后，首先使用多层带权残差自注意力模块对输入结果进行分析和处理；使用多层带权残差自注意力模块进行链接，多层带权残差自注意力模块分为多个带权残差自注意力子模块，每一个子模块均先对输入分为两路，其中一路通过多层线性网络mlp和归一化层softmax获得权重、，其表示为，其中mlpx表示经过mlp多层线性网络处理后的输入，w表示生成权重，将其拆分为、；另一路经过一个线性层后，分别通过三个自注意力模块，在进行带权累加后，最终进行残差连接并进行输出，其表达形式为；；，其中、和为各级的输出，、为权重，x为输入张量，为线性层和激活函数的处理结果，表示自注意力处理函数；在通过整个多层带权残差自注意力模块后，将结果传入LSTM网络进行时序预测处理；步骤24、将步骤23处理后的信息传入由数层全连接和非全连接层组成的多层感知机MLP网络，MLP网络中各线性层间使用Tanh函数作为激活函数，用batchnorm进行数据的归一化，各层之间进行残差链接。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学;山东省工业技术研究院，其通讯地址为：250012 山东省济南市历下区文化西路44号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。