买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:腾讯美国有限责任公司
摘要:本申请的实施例提供一种训练字幕模型的方法,所述字幕模型用于对输入视频执行自动视频字幕,所述方法包括:使用交叉熵损失初始化包括在所述字幕模型中的多个长短期记忆LSTM单元;使用强化学习训练所述LSTM单元;使用多任务训练对包括在所述字幕模型中的LSTM单元和多个卷积神经网络CNN进行训练;以及使用所述字幕模型生成对应于所述输入视频的视频字幕。
主权项:1.一种训练字幕模型的方法,所述字幕模型用于对输入视频执行自动视频字幕,其特征在于,所述方法包括:使用交叉熵损失初始化包括在所述字幕模型中的多个长短期记忆LSTM单元;使用强化学习训练所述LSTM单元;确定所述LSTM单元的训练是否完成,如果是,使用多任务训练对包括在所述字幕模型中的所述LSTM单元和多个卷积神经网络CNN进行训练;以及使用所述字幕模型生成与所述输入视频对应的视频字幕;在所述LSTM单元的所述初始化和所述强化学习期间冻结所述CNN的权重;在所述多任务训练期间释放所述CNN的权重;其中,对包括在所述字幕模型中的所述CNN进行训练包括:通过所述字幕模型中的属性预测分支挖掘输出的属性,基于所述属性训练多个所述CNN,对所述CNN的权重进行更新,所述属性包括输出中包括的名词、动词或形容词中的至少一个。
全文数据:
权利要求:
百度查询: 腾讯美国有限责任公司 训练字幕模型的方法和装置、计算机设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。