买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种基于多模态特征融合的语音脑机接口解码方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119002706B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411474522.5，技术领域涉及：G06F3/01；该发明授权一种基于多模态特征融合的语音脑机接口解码方法是由祁玉;余嘉瑜;潘纲设计研发完成，并于2024-10-22向国家知识产权局提交的专利申请。

本一种基于多模态特征融合的语音脑机接口解码方法在说明书摘要公布了：本发明公开了一种基于多模态特征融合的语音脑机接口解码方法，包括：（1）获取原始神经信号和面部肌电信号，同步获取对应的文本序列；（2）分别提取神经信号特征和肌电信号特征；对于文本序列，提取音素序列后提取文本特征和音素特征；（3）构建基于多模态特征融合的解码模型，包含编码器和解码器；（4）对于神经信号特征、肌电信号特征和音素特征，经过编码器中的嵌入层后两两组合计算特征相似度，基于对比损失函数训练编码器；（5）基于CTC损失函数对解码器进行训练；（5）应用过程中，将待解码的神经信号和肌电信号输入解码模型，最终得到预测文本。本发明可以解决神经信号不稳定与噪声干扰对解码性能的影响，增强解码模型的鲁棒性。

本发明授权一种基于多模态特征融合的语音脑机接口解码方法在权利要求书中公布了：1.一种基于多模态特征融合的语音脑机接口解码方法，其特征在于，包括以下步骤：（1）获取原始神经信号和面部肌电信号，同步获取信号对应的文本序列，并对神经信号和肌电信号进行预处理；（2）对于神经信号和肌电信号，分别提取神经信号特征和肌电信号特征；对于文本序列，提取音素序列后进一步提取文本特征和音素特征；（3）构建基于多模态特征融合的解码模型，所述的解码模型包含编码器和解码器；（4）对于提取到的神经信号特征、肌电信号特征和音素特征，经过编码器中的嵌入层后两两组合计算特征相似度，并基于对比损失函数训练编码器；采用线性模型构建嵌入层，特征相似度的计算公式为： ；其中，和表示编码器得到的特征向量，表示余弦相似度，表示温度参数；对比损失函数的计算公式为： ； ；其中，表示一个小批次的样本数，表示特征和特征第组正样本对，表示特征和特征第组负样本对，表示神经信号的嵌入特征，表示肌电信号的嵌入特征，表示音素序列的嵌入特征，表示调控系数，表示特征与特征之间的对比损失，表示损失函数，由特征两两之间的对比损失加权计算得到；（5）基于CTC损失函数对解码器进行训练；其中，解码器的工作过程为：对神经信号特征和肌电信号特征经过编码器后输出的特征向量进行特征级融合，生成融合特征，使用解码器对融合特征进行解码，得到预测的音素向量，将预测的音素向量转化为文本序列得到最终预测的文本序列；（6）应用过程中，将待解码的神经信号和肌电信号输入解码模型，最终得到预测文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。