龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明属于语音处理技术领域，具体涉及一种融合声音和脑电信号的目标人物语音提取方法、系统和设备。该方法设计了一个包含脑电编码器、语音编码器、分离网络和语音解码器的语音分离模型，并利用训练好的语音分离模型执行目标人物的语音提取任务。其中，脑电编码器中包括一维卷积层和基于KAN的注意力层。语音编码器中包括一维卷积层和双向Mamba层。分离网络采用交叉注意力模块对提取出的语音特征和脑电特征进行特征融合，并对得到的融合特征进行解析得到目标人物语音的特征掩码。语音解码器利用特征掩码和语音特征重建出目标人物的纯净语音。本发明解决现有方案难以有效捕捉深层脑电特征和全局语音特征，重建出的目标人物语音的精度较差的问题。
主权项：1.一种融合声音和脑电信号的目标人物语音提取方法，其特征在于，其用于结合目标人物的脑电信号从包含目标人物语音的混合音频信号中提取出目标人物的纯净语音；其包括如下过程：S1：构建一个包含脑电编码器、语音编码器、分离网络和语音解码器的语音分离模型；其中，所述脑电编码器包括一维卷积层和基于KAN的注意力层，并用于提取输入的脑电信号中包含的脑电特征；所述语音编码器包括一维卷积层和双向Mamba层，并用于提取输入的混合音频信号中包含的语音特征；所述分离网络采用交叉注意力模块对提取出的所述语音特征和脑电特征进行特征融合，并对得到的融合特征进行解析得到目标人物语音的特征掩码；所述语音解码器利用所述特征掩码对所述语音特征进行掩蔽处理得到掩蔽语音，然后通过反卷积模块从掩蔽语音中重建出目标人物的纯净语音；S2：获取大量时域同步的目标人物的语音信号、脑电信号和混合音频信号；将关联的混合音频信号和脑电信号作为样本信息，语音信号作为标签信息，得到所需的样本数据集；S3：将尺度不变信号失真比SI-SDR作为损失函数LSI-SDR，利用所述样本数据集对所述语音分离模型进行训练；保留使得SI-SDR最大化的网络模型的模型参数；S4：将同步采集的目标人物的脑电信号和混合音频信号输入到完成训练的语音分离模型中，由语音分离模型输出重建后的目标人物的纯净语音。
全文数据：
权利要求：
百度查询： 安徽大学 融合声音和脑电信号的目标人物语音提取方法、装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号