龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：河海大学
摘要：本发明涉及人工智能技术领域，公开了一种基于自监督跨模态感知损失的乐队指挥动作生成方法。该方法首先进行自监督学的音频‑动作同步性学习，自动地采样正负样本对来训练一个两分支网络模型的参数；然后，将训练好的两个分支分别用于提取语义性的音乐控制信号和计算感知损失，再使用判别器计算对抗损失，根据输出动作标准差大小确定感知损失与对抗损失的最佳权重比并训练模型；最后，将测试音频输入至模型中，生成与音乐同步的指挥动作序列并可视化。本发明的重要意义在于使用了跨模态的自监督学习任务作为感知损失网络的预训练任务，可以避免了传统回归损失过度平滑的问题，从而生成自然、美观、多样、且与音乐高度同步的指挥动作。
主权项：1.一种基于自监督跨模态感知损失的乐队指挥动作生成方法，其特征在于，该方法包括如下步骤：步骤1，构建数据集，提取音乐会演出录像视频中的指挥动作，并计算对应音乐的梅尔频谱图；步骤2，进行自监督的音乐-动作同步性学习，训练时自动地采样同步的正样本对与错位的负样本对，训练带有一个音乐编码器与一个动作编码器的两分支神经网络模型；步骤3，将步骤2得到的音乐编码器与动作编码器分别用于为生成器提取语义特征与计算生成动作的感知损失，使用对抗-感知损失训练生成器；步骤4，在开发集上根据生成结果的标准差大小确定两项损失的最佳权重比；步骤5，使用步骤4中得到的最佳权重比下训练的模型进行实际应用，从给定音乐中生成指挥动作并可视化。
全文数据：
权利要求：
百度查询： 河海大学 基于自监督跨模态感知损失的乐队指挥动作生成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号