买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

摘要：本发明涉及语音处理技术领域，尤其涉及一种卷积增强外部注意力的多说话人时域语音分离方法。方法包括：S1.通过编码器将多说话人混合语音，进行卷积运算，转换为其潜在特征表示；通过基于卷积增强外部注意力模块的分离器学习得到语音掩码；语音掩码与编码器输出的潜在特征表示相乘，再通过解码器的反卷积运算重建波形得到分离后的语音。本发明能够满足语音分离较小模型、高时效性的需求，并且以其序列建模的优势来达到更好的分离效果；增强了外部注意力机制学习到更多的特征和相关性，且保持了其分离速度快的优势；在双路结构中的应用可以较好地平衡时效性、模型大小和分离效果。

主权项：1.一种卷积增强外部注意力的多说话人时域语音分离方法，其特征在于，包括以下步骤:S1.通过编码器将多说话人混合语音，进行卷积运算，转换为其潜在特征表示；记多说话人混合语音为xt，其中，为实数域；T为语音长度；记潜在特征表示为h，其中，CE为编码器通道数；L为潜在特征表示的长度；S2.通过基于卷积增强外部注意力模块的分离器学习得到语音掩码；S3.语音掩码与编码器输出的潜在特征表示相乘，再通过解码器的反卷积运算重建波形得到分离后的语音；S2主要包括以下步骤：全局归一化和卷积操作：将潜在特征表示h，映射并得到一个中间表示其中，C为通道数；分割堆叠：将中间表示h'分割成S个有重叠的长度为K的较小块，组成一个三维向量其中，K为重叠块的长度，S为重叠块的个数；ExConformer变换：对三维向量T的块内维度K维和S维迭代地应用B个ExConformer模块组成的变换,块内处理的输出Tb将作为块间处理的输入；即第b-1个ECBlock的输出将作为第b个块的输入，b＝1,…,B，表示如下：Tb＝ECBlockintraUb-1Ub＝ECBlockinterTb维度变换：对第B个ECBlock块的输出UB应用二维卷积来为每个源学习掩码，得到三维向量Y＝Conv2DUB聚合多通道信息处理：经过重叠相加的操作将三维向量Y转换为每个源的中间潜在表示对y应用一维卷积和PReLU来聚合多个通道上的信息，对于第i个源，其语音掩码的估计掩码如下： 所述ExConformer模块由位置卷积模块、外部注意力模块、卷积模块、前馈神经网络模块组成，每个模块之间添加残差连接；若将第i个ExConformer模块的输入定义为xi，则其输出yi，表示如下： x″i＝x′i+Convx′iyi＝Layernormx″i+FFNx″i。

全文数据：

权利要求：

百度查询： 重庆理工大学 一种卷积增强外部注意力的多说话人时域语音分离方法