买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东浪潮科学研究院有限公司申请的专利一种基于多模态信息融合的视频问答方法、系统及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118690029B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411170753.7，技术领域涉及：G06F16/432；该发明授权一种基于多模态信息融合的视频问答方法、系统及介质是由王光鑫;李雪;陈其宾;姜凯;李锐设计研发完成，并于2024-08-26向国家知识产权局提交的专利申请。

本一种基于多模态信息融合的视频问答方法、系统及介质在说明书摘要公布了：本发明公开了一种基于多模态信息融合的视频问答方法、系统及介质，属于计算机视觉技术领域，用于解决视频问答技术依赖于单一模态信息，无法充分利用视频中蕴含的多模态信息，视频检索的效率和准确性不足的技术问题。包括：视频文件基础信息提取得到视频摘要及文本字幕；对文本字幕语句切分得到字幕片段，获取对应的视频片段及音频片段；对每个音频片段进行聚类得到若干个声纹类型簇；获取每个声纹类型簇对应的视频镜头集以及字幕集，获取每类声纹对应的人物标签；根据视频片段以及字幕片段，获取关键帧向量以及字幕片段向量；将全部信息存入向量数据库；基于视频摘要对用户输入的问题进行意图分析，并调用向量数据库进行视频检索及问题回答。

本发明授权一种基于多模态信息融合的视频问答方法、系统及介质在权利要求书中公布了：1.一种基于多模态信息融合的视频问答方法，其特征在于，所述方法包括：对输入视频文件进行基础信息提取，得到视频摘要以及文本字幕；对所述文本字幕进行语句切分，得到字幕片段，并根据所述字幕片段，获取对应的视频片段及音频片段；将每个音频片段映射为声纹向量并进行聚类，得到若干个声纹类型簇；获取每个声纹类型簇对应的视频镜头集以及字幕集，并输入多模态模型中，得到每类声纹对应的人物标签；根据所述视频片段以及所述字幕片段，获取关键帧向量以及字幕片段向量；以片段为单位，将所述关键帧向量、字幕片段向量、人物标签、视频片段、字幕片段、音频片段及对应的时间戳存入向量数据库；基于所述视频摘要对用户输入的问题进行意图分析，根据分析结果调用所述向量数据库进行视频检索及问题回答，具体包括：获取用户输入的问题，并对所述问题进行向量化处理，得到问题向量；分析所述问题向量与存储的各个视频摘要的相关性，以及分析所述问题向量中隐含的人物特征；根据所述相关性以及人物特征进行用户意图分析，得到意图分析结果；其中，所述意图分析结果至少包括：指向特定的说话人、未指向特定的说话人但与某个视频摘要相关、与所有视频摘要均无关；若意图分析结果指向特定的说话人，则获取该说话人的人物标签，并根据所述人物标签在所述向量数据库中检索对应的视频片段及字幕片段，并输入多模态大模型中进行问题问答；若意图分析结果未具体指向特定的说话人但与某个视频摘要相关，则将所述问题向量与所述向量数据库中的关键帧向量及字幕片段向量进行混合相似度计算并排序，并将排序结果输入所述多模态大模型中进行问题回答；若意图分析结果与所有视频摘要均无关，则将所述问题向量直接输入大语言模型中进行问题回答。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司，其通讯地址为：250101 山东省济南市高新区浪潮路1036号S02号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。