买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于音素级别说话人迁移的语音克隆方法，包括：1使用语音对齐工具获得目标说话人语音和音素的对齐关系R，使用时序神经网络从语音频谱中提取帧级别音色特征Ef；2根据对齐关系R和帧级别音色特征Ef计算部分音素的音素级别音色特征Ep；3使用注意力机制根据部分音素的音素级别音色特征Ep计算所有音素的音素级别音色特征E′p；4结合实际文本和全局音素的音素级别音色特征E′p，生成目标说话人音色的语音。本发明可以实现在仅有少量目标说话人语音数据的情况下，克隆目标说话人音色。

主权项：1.基于音素级别说话人迁移的语音克隆方法，其特征在于，包括以下步骤：1使用语音对齐工具获得目标说话人语音和音素的对齐关系R，使用时序神经网络从语音频谱中提取帧级别音色特征Ef；需准备目标说话人的语音频谱帧序列M：M＝{m1,m2,...,mL}式中，L为语音频谱帧序列长度，m1,m2,...,mL分别代表M中标号为1,2,...,L的一帧频谱；另外，准备语音频谱帧序列M对应的文字内容，以音素序列形式表示，对于中文而言，音素即为拼音声韵母，音素序列T表示为：T＝{c1,c2,...,cN}式中，N为音素序列长度，c1,c2,...,cN分别代表T中标号为1,2,...,N的单个音素；将M和T输入语音对齐工具，由此得到音素序列与语音频谱帧序列的对应关系，即各个音素具体对应的频谱帧数，称之为对齐关系R，表示为：R＝{d1,d2,...,dN}式中，d1,d2,...,dN分别代表c1,c2,...,cN对应的语音频谱帧数；将目标说话人的语音频谱帧序列M输入时序神经网络中，网络输出与M等长的隐层向量序列，隐层向量序列即为帧级别音色特征Ef，表示为：Ef＝{e1,e2,...,eL}式中，e1,e2,...,eL分别代表m1,m2,...,mL对应的帧级别音色特征；2结合对应关系R和帧级别音色特征Ef，将音素序列T中单个音素对应的帧级别音色特征进行归并，归并方式为求取均值，得到音素对应的音素级别音色特征Ep，表示为：Ep＝{p1,p2,...,pN}其中， 式中，p1,p2,...,pN分别为c1,c2,...,cN对应的音素级别音色特征，c1,c2,...,cN分别代表T中标号为1,2,...,N的单个音素，分别代表语音频谱帧序列M中对应的帧级别音色特征，分别代表语音频谱帧序列M中对应的帧级别音色特征，分别代表语音频谱帧序列M中对应的帧级别音色特征，α函数代表求均值；3使用注意力机制根据部分音素的音素级别音色特征Ep计算所有音素的音素级别音色特征Ep′；4结合实际文本和全局音素的音素级别音色特征Ep′，生成目标说话人音色的语音。

全文数据：

权利要求：

百度查询： 华南理工大学 基于音素级别说话人迁移的语音克隆方法