买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜江西财经大学申请的专利基于双证据增强与图文相似度感知的多模态谣言检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119357700B 。

龙图腾网通过国家知识产权局官网在2025-04-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411880380.2，技术领域涉及：G06F18/22；该发明授权基于双证据增强与图文相似度感知的多模态谣言检测方法是由黄学坚;胡家峰;张慧娟;张皓洋;朱圣宇;陈云芳;周翔;温伶惠设计研发完成，并于2024-12-19向国家知识产权局提交的专利申请。

本基于双证据增强与图文相似度感知的多模态谣言检测方法在说明书摘要公布了：本发明提出一种基于双证据增强与图文相似度感知的多模态谣言检测方法，该方法包括：利用预训练语言模型和预训练视觉模型分别提取待检测帖子的文本语义特征和图像视觉特征；利用ELA挖掘图像中的潜在篡改痕迹；对帖子图片通过反向搜索得到相关新闻报道，利用帖子文本进行搜索并筛选相关图片，并通过交叉注意力机制实现证据与待验证帖子的交互对齐；利用EGTR算法和Flan‑T5模型，分别将图像和文本转换为视觉场景图和文本场景图；通过知识蒸馏提取相关背景知识；通过改进的图注意力网络对场景图进行学习。本发明设计了一种基于门控神经网络的特征分层融合方法，实现特征的自适应融合，并将融合后的特征输入多层感知机进行结果分类。

本发明授权基于双证据增强与图文相似度感知的多模态谣言检测方法在权利要求书中公布了：1.一种基于双证据增强与图文相似度感知的多模态谣言检测方法，其特征在于，所述方法包括如下步骤：步骤1、利用预训练语言模型与双向长短时记忆网络相结合，对帖子进行特征提取以得到帖子文本的语义特征；利用预训练的视觉模型对帖子图片进行特征提取以获取帖子图片的图像视觉特征；步骤2、利用错误级别分析方法对帖子图片进行差异分析以获得差异分析图像，利用预训练视觉模型对差异分析图像进行篡改特征提取以得到图像篡改特征；步骤3、对帖子图片进行反向搜索以获取目标新闻报道，并对目标新闻报道进行筛选以得到文本筛选证据，利用帖子文本进行图片的搜索以获取目标图片信息，并将目标图片信息进行筛选以得到图片筛选证据；步骤4、将文本筛选证据以及图片筛选证据通过多头交叉注意力机制进行交互对齐以得到对齐的文本证据特征与对齐的图片证据特征，并验证对齐的文本证据特征和对齐的图片证据特征与输入帖子之间的一致性；步骤5、利用EGTR算法对帖子图片进行计算以生成视觉场景图，利用Flan-T5模型对帖子文本进行处理以生成文本场景图；步骤6、将视觉场景图和文本场景图依次与知识蒸馏相结合以获得目标背景知识，并将目标背景知识融入视觉场景图和文本场景图中以得到知识增强的视觉场景图与知识增强的文本场景图；步骤7、利用图注意力网络对知识增强的视觉场景图与知识增强的文本场景图进行图文语义匹配，以获取视觉场景图与文本场景图的图文语义匹配结果；步骤8、利用特征分层融合算法对文本的语义特征、对齐的文本证据特征、图像视觉特征、对齐的图片证据特征、图像篡改特征和图文语义匹配特征之间进行自适应的分层融合以得到分层最终融合结果，其中，特征分层融合算法是基于门控神经网络构建的；步骤9、将分层最终融合结果输入多层感知机以获得结果分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江西财经大学，其通讯地址为：330000 江西省南昌市经济技术开发区双港东大街169号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。