买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明公开了一种基于实体增强和立场检查的多模态事实核查方法，包括：1、从包含文本和图像的声明中提取有价值的线索，如文本、图像及其实体信息，作为初步特征；2、模拟人类的层次化推理过程，通过共享原型引导特征重构，提取立场语义推理特征，以检查不同类型声明与证据之间的一致性；3、构建跨模态实体对集合，并设计知识相关推理策略，以在外部知识图谱中找到每对实体之间的最短语义相关路径；事实核查网络通过吸收此路径中所有实体的补充背景知识，细化知识增强的距离和实体表示。本发明能通过联合模拟立场语义推理特征和知识增强的实体对特征，同时学习有效的语义级别和知识级别声明表示，从而提高多模态事实核查的准确性和效率。

主权项：1.一种基于实体增强和立场检查的多模态事实核查方法，其特征在于，包括如下步骤：步骤一、多模态新闻数据的收集和预处理；步骤1.1、提取社交媒体平台上每条多模态新闻的文本内容及其对应的一张图像，得到新闻文本集及其对应的新闻图像集其中，Ti表示第i条新闻文本；Ii表示Ti对应的第i张新闻图像；N表示多模态新闻的总数；步骤1.2、提取事实核查网站上针对每条多模态新闻的文本和图片证据，得到证据文档文本集和证据图像集其中，DTi表示第i条证据文档文本；DIi表示Ti对应的第i张证据图像；步骤1.3、设置第i个多模态新闻的真实性标签，记为yi，且yi∈{0,1}；从而构建训练数据集步骤二、构建多模态事实核查网络，包括：多模态特征提取模块、立场转换器模块、实体增强编码器模块；步骤三、多模态特征提取模块对Ii,Ti,DIi,DTi进行特征提取，得到Ti的全局特征TC、新闻文本实体集Ii的新闻视觉实体集新闻视觉特征IC、DTi的全局特征TD、证据文档文本实体集DIi的命名实体集证据文档视觉特征ID；步骤四、立场转换器模块对Ic、ID、TD、Tc进行特征融合，得到输出文本模态立场特征ftt、视觉模态立场特征fvv和跨模态立场特征ftv；步骤五、构建实体增强编码器模块，包括：实体链接单元、知识增强的距离测量单元、符号注意力特征融合单元；步骤5.1、实体链接单元将链接至知识图谱，从而得到文本模态实体集ETT、视觉模态实体集EVV、跨模态实体集ETV；步骤5.2、所述知识增强的距离测量单元，分别计算ETT、ETT和ETV中每一对实体嵌入特征之间的知识增强距离；步骤5.3、用符号注意力特征融合单元分别对ETT、EVV、ETV进行融合处理，相应得到文本模态知识增强型实体配对推理特征fEtt、视觉模态知识增强型实体配对推理特征fEvv、多模态知识增强型实体配对推理特征fEtv；步骤六、多模态事实核查网络的优化：步骤6.1、利用式9预测第i条多模态新闻为假新闻的概率 式9中，σ代表sigmoid激活函数，Wc表示分类器的权重矩阵，bc表示偏差向量；步骤6.2、利用式10构建交叉熵损失函数 步骤6.3、基于所述训练数据集X，使用Adam优化策略对所述多模态假新闻检测网络进行训练，直至网络总损失函数收敛为止，从而得到最优多模态事实核查模型，用于对任一多模态新闻进行事实核查。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于实体增强和立场检查的多模态事实核查方法