买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：清华大学

摘要：本发明提供一种用于语音特征描述的语音标注方法和装置，涉及语音处理技术领域，方法包括：获取原始音频数据；将所述原始音频数据输入至预训练的语音风格识别模型中，得到所述原始音频数据的语音风格属性；其中，所述语音风格识别模型包括信号处理子模型、说话人身份识别子模型、情感标注子模型和韵律检测子模型；将所述语音风格属性和语音识别文本输入至预训练的自然语言模型中，得到所述原始音频数据对应的自然语言描述文本；其中，所述语音识别文本为：基于所述原始音频数据进行语音识别得到；所述自然语言描述文本为：对所述原始音频数据进行语音特征描述的文本。通过本发明提供的方法，形成针对原始音频数据详细和个性化的自然语言描述文本。

主权项：1.一种用于语音特征描述的语音标注方法，其特征在于，包括：获取原始音频数据；将所述原始音频数据输入至预训练的语音风格识别模型中，得到所述原始音频数据的语音风格属性；其中，所述语音风格识别模型包括信号处理子模型、说话人身份识别子模型、情感标注子模型和韵律检测子模型；所述信号处理子模型用于识别所述原始音频数据的音高、音量和语速，所述说话人身份识别子模型用于识别所述原始音频数据的说话人年龄和说话人性别，所述情感标注子模型用于识别所述原始音频数据的情感语气，所述韵律检测子模型用于识别所述原始音频数据的重音；将所述语音风格属性和语音识别文本输入至预训练的自然语言模型中，得到所述原始音频数据对应的自然语言描述文本；其中，所述语音识别文本为：基于所述原始音频数据进行语音识别得到；所述自然语言描述文本为：对所述原始音频数据进行语音特征描述的文本；所述原始音频数据包括：原始音频；所述将所述原始音频数据输入至预训练的语音风格识别模型中，得到所述原始音频数据的语音风格属性，包括：对所述原始音频进行语音音质增强处理，得到去噪音频，并将所述去噪音频输入至预训练的语音风格识别模型中，得到所述原始音频数据的语音风格属性；所述将所述原始音频数据输入至预训练的语音风格识别模型中，得到所述原始音频数据的语音风格属性，包括：将所述去噪音频输入至预训练的信号处理子模型中，得到所述原始音频数据的音高、音量和语速；将所述去噪音频输入至预训练的说话人身份识别子模型中，得到所述原始音频数据的说话人年龄和说话人性别；将所述去噪音频输入至预训练的情感标注子模型中，得到所述原始音频数据的情感语气；将所述去噪音频输入至预训练的韵律检测子模型中，得到所述原始音频数据的重音；所述语音风格识别模型还包括：话题识别子模型；所述原始音频数据还包括：所述原始音频的描述文本；所述将所述原始音频数据输入至预训练的语音风格识别模型中，得到所述原始音频数据的语音风格属性，包括：将所述原始音频的描述文本输入至预训练的话题识别子模型中，得到所述原始音频数据的话题；所述将所述语音风格属性和语音识别文本输入至预训练的自然语言模型中，得到所述原始音频数据对应的自然语言描述文本之后，所述方法还包括：获取多个基础语音数据集；将所述多个基础语音数据集输入至语音标注系统中，得到扩展语音数据集；其中，所述语音标注系统包括：所述语音风格识别模型和所述自然语言模型，所述语音标注系统用于对所述多个基础语音数据集进行语音风格属性扩展；所述将所述多个基础语音数据集输入至语音标注系统中，得到扩展语音数据集之后，所述方法还包括：基于所述扩展语音数据集对所述语音标注系统进行评估，以验证所述语音风格识别模型的属性识别准确性和所述自然语言模型的转写能力。

全文数据：

权利要求：

百度查询： 清华大学 一种用于语音特征描述的语音标注方法和装置