龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院);北京达佳互联信息技术有限公司;山东大学
摘要：本发明属于视频数据处理技术领域，为解决数据数量、多样性和质量三者无法同时兼顾的问题，提供了一种基于无标注网络视频数据的多模态预训练方法及系统。其中，基于无标注网络视频数据的多模态预训练方法包括：利用大语言模型和图像‑文本模型对视频数据集进行初步细化，生成初步的训练数据集，再引入噪音控制损失函数下，初步训练视频‑语言大模型，作为前一阶段训练得到的视频‑语言大模型；在前一阶段训练得到的视频‑语言大模型未训练完成时，利用前一阶段训练得到的视频‑语言大模型对视频数据集迭代细化，再引入同样噪音控制损失函数下，迭代训练视频‑语言大模型，直至训练完成。其提高了视频中的语音与字幕对应关系识别准确性。
主权项：1.一种基于无标注网络视频数据的多模态预训练方法，其特征在于，包括：获取视频数据集，利用预设大语言模型和图像-文本模型对所述视频数据集进行初步细化，生成初步的训练数据集，再引入噪音控制损失函数下，初步训练视频-语言大模型，作为前一阶段训练得到的视频-语言大模型；判断前一阶段训练得到的视频-语言大模型是否达到设定要求，若是，则结束训练；若否，则利用前一阶段训练得到的视频-语言大模型对所述视频数据集进行迭代细化，并更新训练数据集，再引入同样噪音控制损失函数下，迭代训练视频-语言大模型，直至训练得到设定要求的视频-语言大模型，以利用最终训练完成的视频-语言大模型来识别视频内容中的语音与字幕对应关系。
全文数据：
权利要求：
百度查询： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 北京达佳互联信息技术有限公司 山东大学 基于无标注网络视频数据的多模态预训练方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号