买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河海大学

摘要：本发明涉及人工智能技术领域，公开了一种基于自监督跨模态感知损失的乐队指挥动作生成方法。该方法首先进行自监督学的音频‑动作同步性学习，自动地采样正负样本对来训练一个两分支网络模型的参数；然后，将训练好的两个分支分别用于提取语义性的音乐控制信号和计算感知损失，再使用判别器计算对抗损失，根据输出动作标准差大小确定感知损失与对抗损失的最佳权重比并训练模型；最后，将测试音频输入至模型中，生成与音乐同步的指挥动作序列并可视化。本发明的重要意义在于使用了跨模态的自监督学习任务作为感知损失网络的预训练任务，可以避免了传统回归损失过度平滑的问题，从而生成自然、美观、多样、且与音乐高度同步的指挥动作。

主权项：1.一种基于自监督跨模态感知损失的乐队指挥动作生成方法，其特征在于，该方法包括如下步骤：步骤1，提取音乐会演出录像视频中的指挥动作，并计算对应音乐的梅尔频谱图，构建含有N个音乐-动作样本对的数据集其中Xi和Yi分别表示第i个样本的音乐数据和动作数据；步骤2，进行自监督的音乐-动作同步性学习，训练时自动地采样同步的正样本对与错位的负样本对，训练带有一个音乐编码器与一个动作编码器的两分支神经网络模型；所述步骤2的具体过程为：2-1、构建神经网络结构；使用一个基于卷积神经网络的音乐编码器Emusic从梅尔频谱图中提取音乐特征EmusicX，使用一个基于时空图卷积神经网络的动作编码器Emotion从指挥动作中提取动作特征EmotionY，将得到的两个特征拼接并输入全连接层f混合，并在最后经由sigmoid激活函数输出一个0，1之间的标量f[EmusicX，EmotionY]；2-2、采样正样本对和负样本对；正样本对是同步的音乐和动作序列，负样本对是不匹配的音乐和动作序列；从同一乐曲中选取负样本，其错位距离至少为10秒；2-3、计算交叉熵损失LCE和对比损失LCT，两个损失函数的定义如下，其中，Xi，Yi是从数据集D中采样得到的第i个样本对，li是该样本对的标签，当为正样本对时li＝1，负样本对时li＝0： 2-4、训练模型，使用交叉熵损失与对比损失之和L＝LCE+LCT训练步骤2-1中构建的两分支神经网络模型，直至模型收敛；在损失函数中，交叉熵损失使网络具备预测给定样本正负的能力，对比损失将两个编码器提取的特征嵌入到一个共享的特征空间中；在训练好的网络模型中，音乐编码器可以提取预测动作所需的语义性音乐特征，动作编码器可以提取音乐相关的动作特征；步骤3，构建一个生成器G和一个判别器D，使用对抗神经网络与步骤2得到的动作编码器分别计算对抗损失与生成动作的感知损失，再对感知损失和对抗损失加权，然后将加权后的两项损失相加，作为生成器G训练过程中的损失函数；计算判别器D的损失函数；利用生成器G和判别器D各自的损失函数轮流训练生成器G和判别器D，直至模型收敛；步骤4，在开发集上根据生成结果的标准差大小确定感知损失和对抗损失的最佳权重比；所述步骤4的具体过程为：4-1、使用不同的权重比λperλadv训练步骤3中的生成器；4-2、在开发集上测试不同权重比λperλadv下训练的生成器，计算生成动作的标准差；4-3、绘制权重比-标准差曲线，找到生成动作标准差恰好升至真实动作标准差时的权重比，确定为最佳权重比；λper，λadv分别为感知损失与对抗损失的权重；步骤5，使用步骤4中得到的最佳权重比下训练的模型进行实际应用，从给定音乐中生成指挥动作并可视化。

全文数据：

权利要求：

百度查询： 河海大学 基于自监督跨模态感知损失的乐队指挥动作生成方法