买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院半导体研究所

摘要：本公开提供了一种基于波形和频域信息融合网络的声音信号增强方法及装置。该方法包括获取声音训练样本集，其中，声音训练样本集包括多个声音训练样本和对应的标签数据，每个声音训练样本包括训练声音信号和训练幅度谱；将声音训练样本输入初始融合网络模型，输出增强后的训练声音数据，其中，初始融合网络模型为用于融合声音信号时域信息和频域信息的多模态融合网络模型；根据标签数据和增强后的训练声音数据计算损失函数，得到损失结果；根据损失结果迭代地调整初始融合网络模型的网络参数，生成经训练的多模态融合网络模型；将待增强的声音信号输入多模态融合网络模型，输出增强的语音信号。

主权项：1.一种基于波形和频域信息多模态融合网络的单通道声音信号增强方法，包括：获取声音训练样本集，其中，所述声音训练样本集包括多个声音训练样本和对应的标签数据，每个所述声音训练样本包括训练声音信号和训练幅度谱；将所述声音训练样本输入初始融合网络模型，输出增强后的训练声音数据，其中，所述初始融合网络模型为用于融合声音信号时域信息和频域信息的多模态融合网络模型；根据所述标签数据和所述增强后的训练声音数据计算损失函数，得到损失结果；根据所述损失结果迭代地调整所述初始融合网络模型的网络参数，生成经训练的多模态融合网络模型；将待增强的声音信号输入所述多模态融合网络模型，输出增强的语音信号；其中，所述初始融合网络模型包括双路经联合优化训练单元和多模态信息融合单元；其中，所述将所述声音训练样本输入初始融合网络模型，输出增强后的训练声音数据，包括：将所述训练声音信号和所述训练幅度谱输入所述双路经联合优化训练单元，输出分别对应于所述训练声音信号和所述训练幅度谱的增强的训练声音信号和增强的训练幅度谱；将所述增强的训练声音信号和所述增强的训练幅度谱输入所述多模态信息融合单元，输出所述增强后的训练声音数据；其中，所述双路经联合优化训练单元包括主路径子单元和辅助路径子单元；所述主路径子单元包括依次连接的多个第一卷积层、多个第一门控循环层和多个第二卷积层，其中，每个第一卷积层分别与一个所述第二卷积层连接，连接关系关于所述多个第一门控循环层对称；所述辅助路径子单元包括依次连接的多个第三卷积层、多个第二门控循环层和多个第四卷积层，其中，每个所述第三卷积层分别与一个所述第四卷积层连接，连接关系关于所述多个第二门控循环层对称；其中，所述将所述训练声音信号和所述训练幅度谱输入所述双路经联合优化训练单元，输出分别对应于所述训练声音信号和所述训练幅度谱的增强的训练声音信号和增强的训练幅度谱，包括：将所述训练声音信号输入所述多个第一卷积层，输出第一声音特征；将所述第一声音特征输入所述多个第一门控循环层，输出第二声音特征，其中，所述第一门控循环层用于建立所述第一声音特征中帧与帧之间的时间关联性；将所述第二声音特征输入所述多个第二卷积层，输出所述增强的训练声音信号；将所述训练幅度谱输入辅助路径子单元，输出所述增强的训练幅度谱。

全文数据：

权利要求：

百度查询： 中国科学院半导体研究所 基于波形和频域信息融合网络的声音信号增强方法及装置