买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种多模态喉部振动信号与唇部动点数据的语音解码识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119068870B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411114779.X，技术领域涉及：G10L15/14；该发明授权一种多模态喉部振动信号与唇部动点数据的语音解码识别方法及系统是由李拓儒;张凡;钮罗涌;汪蕊雪;许世豪;董树荣;陈卫东;张韶岷设计研发完成，并于2024-08-14向国家知识产权局提交的专利申请。

本一种多模态喉部振动信号与唇部动点数据的语音解码识别方法及系统在说明书摘要公布了：本发明公开了一种多模态喉部振动信号与唇部动点数据的语音解码识别方法及系统。本发明通过采集发声时的喉部振动信号解码声调与中文四声，采集发声时的唇部动点数据解码声韵母与音节，两者结果进行多模态融合，并将结果送入到大语言模型中，最终大语言模型输出识别文字。相较于传统的面颈部生理信号语音解码方法，本发明语音识别方法，具有适合长期监测，符合语言学的音节构成原理，受语料库影响小，泛化能力强，与单模态无法实现的单字符级别的识别精度与准确度等特点。

本发明授权一种多模态喉部振动信号与唇部动点数据的语音解码识别方法及系统在权利要求书中公布了：1.一种多模态喉部振动信号与唇部动点数据的语音解码识别方法，其特征在于，包括如下步骤：步骤1，采集喉部振动信号和唇部动点数据；步骤2，对采集的喉部振动信号进行预处理，得到预处理后的喉部振动信号；步骤3，将预处理后的喉部振动信号，输入到喉部振动信号识别模型中，提取喉部振动信号的时频域特征，并对提取的时频域特征进行处理并输出喉部振动信号的声调识别结果；将唇部动点数据输入到唇部动点数据识别模型中，先使用Conformer编码网络对唇部动点数据的时间特征与空间特征进行编码，然后通过Transformer解码器和CTC解码器同时对编码内容进行解码，最后结合权重后通过SoftMax层用于输出唇部动点数据的音节识别结果；步骤4，由喉部振动信号识别模型得到一组喉部振动信号的单个类别的声调识别结果，进一步得到喉部振动信号的声调各个类别的概率分布值；由唇部动点数据识别模型得到一组唇部动点数据的单个类别的音节识别结果，进一步得到唇部动点数据的音节各个类别的概率分布值；步骤5，将喉部振动信号的声调各个类别的概率分布值与唇部动点数据的音节各个类别的概率分布值同步输入到多模态融合模型，多模态融合模型对声调与音节两个输入合并，多模态融合模型输出合成语音概率矩阵，合成完整的音节，送入到大语言模型中，大语言模型的输出结果即为最终的语音识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。