买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南师范大学

摘要：本发明涉及自然语言处理技术领域，特别涉及一种多模态讽刺检测方法、装置、设备以及存储介质，基于图像、文本双模态数据，针对各模态内容分层次地进行全局特征提取以及文本特征增强，基于获得的文本全局特征表示、图像全局特征表示以及文本增强特征表示，采用跨模态交互的方式进行不一致性评估，获得不一致性分数，利用图像全局特征表示、文本增强特征表示以及不一致性分数进行协同识别，充分的利用模态间信息进行讽刺检测，提高讽刺检测的准确性。

主权项：1.一种多模态讽刺检测方法，其特征在于，包括以下步骤：获得待测文档数据以及预设的讽刺检测模型，其中，所述待测文档数据包括待测文本以及待测图像，所述讽刺检测模型包括特征提取模块、文本特征增强模块、跨模态交互模块以及讽刺检测模块；获得训练数据集，其中，所述训练数据集包括若干组训练文档数据，所述训练文档数据包括训练文本以及训练图像；获得若干组所述训练文档数据的训练图像对应的重构图像，以及若干组所述训练文档数据的训练文本全局特征表示、训练图像全局特征表示、重构图像全局特征表示，采用对比学习方法，根据若干组所述训练文档数据的训练文本全局特征表示、训练图像全局特征表示以及重构图像全局特征表示，获得第一总损失值；获得若干组所述训练文档数据的训练文本模态嵌入表示以及训练图像模态嵌入表示，采用对比学习方法，根据若干组所述训练文档数据的训练文本模态嵌入表示以及训练图像模态嵌入表示，获得第二总损失值；获得若干组所述训练文档数据的真实讽刺概率分布向量，采用交叉熵方法，根据若干组所述训练文档数据的预测讽刺概率分布向量以及真实讽刺概率分布向量，获得第三总损失值，根据所述第一总损失值、第二总损失值以及第三总损失值，对所述讽刺检测模型进行训练，获得目标讽刺检测模型；将所述待测文档数据输入至所述目标讽刺检测模型的特征提取模块中进行特征提取，获得所述待测文本对应的文本全局特征表示以及待测图像对应的图像全局特征表示；将所述文本全局特征表示以及图像全局特征表示输入至所述文本特征增强模块中进行特征增强，获得文本增强特征表示；将所述文本全局特征表示、文本增强特征表示以及图像全局特征表示输入至所述跨模态交互模块中进行不一致性评估，获得不一致性分数；将所述文本增强特征表示、图像全局特征表示以及不一致性分数输入至所述讽刺检测模块中进行讽刺检测，获得所述待测文档数据的讽刺检测结果。

全文数据：

权利要求：

百度查询： 华南师范大学 多模态讽刺检测方法、装置、设备以及存储介质