买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市金大智能创新科技有限公司

摘要：本发明公开了基于大语言模型的双模态伪造信息检测方法，包括有S1对文本特征和图像特征分别进行编码，得到文本编码后的特征和图像编码后的特征，并通过计算对比学习损失实现文本模态和图像模态对齐；S2通过大语言模型生成文本描述和常识，通过新闻原理协作模块对通过大语言模型进行推理有用性评估，生成文本‑文本描述交互特征、文本‑常识交互特征、图像‑文本描述交互特征和图像‑常识交互特征；S3特征聚合模块为文本编码后的特征、图像编码后的特征及各交互特征分配权重，最终输入到分类器中完成最终的分类，提升虚假信息检测的准确率，解决了幻觉的阻碍、缺乏事实信息和难以适应新环境等问题。

主权项：1.基于大语言模型的双模态伪造信息检测方法，其特征在于：包括有S1、对文本特征和图像特征分别进行编码，得到文本编码后的特征和图像编码后的特征，并通过计算对比学习损失实现文本模态和图像模态对齐；S1中设定图像-文本对为，i代表第i个特征对，N代表数量，第i个特征对预测的文本-图像相似度，图像-文本相似度的计算公式如下： ； ；相关的独热编码标签和，文本和图像模态匹配标记为1，不匹配标记为0，然后计算交叉熵损失： ； ；最终对比学习损失的计算公式如下： ；S2、通过大语言模型生成文本描述和常识，通过新闻原理协作模块对、、和、进行交互学习并进行推理有用性评估，生成文本-文本描述交互特征、文本-常识交互特征、图像-文本描述交互特征和图像-常识交互特征；新闻推理协作模块包含新闻-推理交互，LLM判断预测，推理有用性评估；S2包括有S21、新闻-推理交互，引入了含有双向交叉注意力机制的新闻-推理交互器鼓励特征的交互学习，交叉注意力机制为： ； ，，，d表示特征维度，对于给定的，，，有 ； ；； ； ； ； ； ；S22、LLM判断预测，分别把文本描述和常识输入到多层感知器中,和分别表示和的预测结果，计算结果如下： ； ； ； ； 和表示文本描述和常识的正确预测，和表示文本描述和常识预测的交叉熵损失；S23、有用性评估，在有用性评估中，把和拼接输入到由MLP参数化的原理有用性评估器中，预测其有用性得到预测的权重,并计算预测有用性权重的交叉熵损失函数，过程如下： ； ；在有用性评估中，把和拼接输入到由MLP参数化的原理有用性评估器中，预测其有用性得到预测的权重,并计算预测有用性权重的交叉熵损失函数，过程如下： ； ；然后，和被用来重新加权，，； ；S3、特征聚合模块为、、、、、分配权重，最终输入到分类器中完成最终的分类。

全文数据：

权利要求：

百度查询： 深圳市金大智能创新科技有限公司 基于大语言模型的双模态伪造信息检测方法