买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西南大学申请的专利基于轻量化Transformer网络的语音识别系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116013309B 。

龙图腾网通过国家知识产权局官网在2025-03-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310065728.1，技术领域涉及：G10L15/26；该发明授权基于轻量化Transformer网络的语音识别系统及方法是由周跃;肖和;胡小方;洪浩钦;段书凯设计研发完成，并于2023-01-14向国家知识产权局提交的专利申请。

本基于轻量化Transformer网络的语音识别系统及方法在说明书摘要公布了：本发明涉及人工智能领域中的语音识别技术，具体公开了一种基于轻量化Transformer网络的语音识别系统及方法，系统包括预处理模块、第一前向传播模块、多头注意力模块、卷积模块、第二前向传播模块和全连接层模块，该系统通过模块化硬件设计且将部分参数利用忆阻交叉阵列予以实现，不仅具有较轻的网络模型，而且在不同的硬件规模下具有良好的识别精度，能有效地减少电路的能耗和面积开销，可以在功耗低、结构轻的边缘设备上实现语音识别任务，并具有较好的稳定性和抗噪性。

本发明授权基于轻量化Transformer网络的语音识别系统及方法在权利要求书中公布了：1.一种基于轻量化Transformer网络的语音识别系统，其特征在于，包括预处理模块、第一前向传播模块、多头注意力模块、卷积模块、第二前向传播模块和全连接层模块，其中：所述预处理模块用于采集语音数据并提取语音数据中的特征参数，形成训练样本、验证样本和测试样本；所述第一前向传播模块包括第一层正则化电路、第一线性化电路、第一Swish激活函数电路、第二线性化电路和第一加法电路，所述第一层正则化电路用于对所述预处理模块提取的每一项特征参数进行正则化处理，正则化处理后的数据依次经过第一线性化电路、第一Swish激活函数电路和第二线性化电路处理后，由所述第一加法电路实现残差连接并传递到所述多头注意力模块中；所述第一前向传播模块中的至少一部分参数由忆阻交叉阵列电路实现；所述多头注意力模块包括第二层正则化电路、查询矩阵电路、键矩阵电路、值矩阵电路、第一存储模块、第一乘累加电路、SoftMax激活函数电路、第二乘累加电路、第二加法电路和第二存储模块；所述第二层正则化电路对所述第一前向传播模块输出的每一项信号进行正则化处理，所述查询矩阵电路、所述键矩阵电路和所述值矩阵电路由忆阻交叉阵列电路实现，用于计算输入信息特征的单头注意力，所述第一存储阵列用于实现多个单头注意力的缓存，并在控制信号的驱动下选择性输出至第一乘累加电路中，得到查询矩阵每一行输出电压和键矩阵每一列输出电压的乘积，所述第一乘累加电路每一项输出经过SoftMax激活函数电路处理后再利用所述第二乘累加电路实现与所述值矩阵每一列输出电压进行乘积运算，最后利用第二加法电路进行残差连接后将计算结果存储在第二存储模块中；所述卷积模块包括第三层正则化电路、第一点向卷积模块、门控线性单元、深度卷积电路和第二点向卷积模块；所述第二前向传播模块的电路结构与所述第一前向传播模块的电路结构相同，用于对所述卷积模块的输出进行前向传播，最后经过所述全连接层模块得出最终输出；通过训练样本对所述第一前向传播模块、所述多头注意力模块、所述卷积模块、所述第二前向传播模块和所述全连接层模块中的各项参数进行训练，利用验证样本对训练后的系统电路进行验证，最后训练好的系统电路作为语音识别系统进行测试样本的语音识别；所述第一线性化电路和所述第二线性化电路通过忆阻器交叉阵列实现线性化层参数的映射；所述第一Swish激活函数电路用于实现：的信号转化，其中Vd为第一Swish激活函数电路的输入信号，Vsh为第一Swish激活函数电路的输出信号，β为预设的超参数，Vbias3为偏置电压；所述第一点向卷积模块和第二点向卷积模块的内核大小为1×1，所述深度卷积电路的内核大小为C1×C1，其中C1为所述多头注意力模块输出的信号列数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西南大学，其通讯地址为：400715 重庆市北碚区天生路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。