买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网江苏省电力有限公司南通供电分公司

摘要：本发明公开了一种基于特征融合的多模态讽刺检测方法及系统，该方法包括以下步骤：获取待检测文本中的外部知识即形容词‑名词对，后特征表示为A，分别将待检测文本对应的文本模态和图像模态分别特征表示为T和I；采用多头交叉注意机制表示每对多模态输入的文本‑图像的浅层一致性分数以及文本‑外部知识的浅层一致性分数；利用图注意力网络计算文本‑图像的深层一致性分数sl和文本‑外部知识的深层一致性分数使用激活函数和线性层整合得到预测结果y。本发明结合文本、图像和形容词‑名词对三个模态，建立了知识强化型的多模态讽刺检测模型，在与文本、图像两种模态良好结合的基础上，提供更多元、有效的信息，并获得了更好的性能。

主权项：1.一种基于特征融合的多模态讽刺检测方法，其特征在于，该方法包括以下步骤：S1获取待检测文本中的外部知识即形容词-名词对，后特征表示为A，分别将待检测文本对应的文本模态和图像模态分别特征表示为T和I；所述步骤S1具体包括以下步骤：S11采用预训练后的BERT模型和一个额外添加的多层感知机MLP对文本模态进行特征表示，所述BERT模型包括多层双向Transformer编码器，将BERT模型编码器的最后一层输出作为文本模态嵌入的初始化，此后，经过多层感知机进行维度变换；S12将每一个给定的大小的图像划分为大小相同的多个图像序列，利用预训练后的基于ImageNet的图像分类ViT模型对图像进行特征提取，在提取特征后加入一个双层的多层感知机MLP，得到最终图像模态特征表示；S13提取若干形容词-名词对，并留下分值最高的五对作为图像的外部知识，并采用预训练后的BERT模型和一个额外添加的多层感知机MLP对形容词-名词对模态特征表示；S2采用多头交叉注意机制表示每对多模态输入的文本-图像的浅层一致性分数se以及文本-外部知识的浅层一致性分数S3分别构建文本模态和图像模态的无向、自循环图，并利用图注意力网络计算文本-图像的深层一致性分数sl和文本-外部知识的深层一致性分数所述步骤S3具体包括：S31文本图：计算文本标记之间的依赖关系，作为文本图的边，以各文本标记作为文本图节点；视觉图：以图像序列{p1,p2,...,pr}作为视觉图节点，并通过几何关系直接相连，构成视觉图的边，S32形容词-名词对模态：其在深层融合中仍然采用经过浅层融合更新后的形容词-名词对特征Ak进行特征融合；S33在构建无向、循环图后，由多层图注意力网络的自注意层衡量相应节点传播信息的权重，并将更新后的浅层文本特征和图像特征I沿模态图的边传播，分别得到文本和图像模态的深层特征表示；S34利用与浅层融合相同的方法计算文本-图像深层一致性分数sl和文本-外部知识深层一致性分数S4根据在浅层和深层融合中得到的文本-图像的浅层一致性分数se、文本-外部知识的浅层一致性分数文本-图像的深层一致性分数sl和文本-外部知识的深层一致性分数使用激活函数和线性层整合得到初步的预测结果y；S5使用交叉熵损失函数，对上述模型进行端到端的训练，得到预测结果y'∈{0,1}，其中，1表示具有讽刺性，0表示没有讽刺性。

全文数据：

权利要求：

百度查询： 国网江苏省电力有限公司南通供电分公司 一种基于特征融合的多模态讽刺检测方法及系统