买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：茅台学院

摘要：本申请公开了多模态数据分析技术领域的一种深度集成社交内容和关系的情感分析方法，包括特征预处理、基于Transformer的图文注意力、节点指导的图文联合注意力以及多模态图推理四个模块。其中，特征预处理模块主要用于图片、文本及社交关系网络特征的提取和处理；基于Transformer的图文注意力模块用于捕捉图片与文本之间细粒度的情感特征关联及互补信息；节点指导的图文联合注意力模块和多模态图推理模块分别从社交网络的拓扑结构和邻居内容信息两方面探索社交关系对图文情感极性的影响。本发明综合利用了图片、文本以及关系网络三种模态的数据，并通过跨模态注意力机制，图神经网络等技术进行社交内容和关系的深度集成和推理，有效提高了多模态情感分析的准确性。

主权项：1.一种深度集成社交内容和关系的情感分析方法，其特征在于，包括以下步骤：S1、特征预处理：利用ResNet残差神经网络将图片信息提取为图片特征矩阵；利用Glove词嵌入编码图片对应的文本单词，并将单词序列对应的嵌入矩阵输入到双向长短期记忆网络Bi-LSTM中，输出文本特征矩阵；利用社交属性构建带权无向图，并利用改进的深度游走算法DeepWalk计算融合拓扑结构的图节点嵌入特征；S2、基于Transformer的图文注意力：采用多个Transformerencoder分别编码特征预处理模块得到的图片特征矩阵和文本特征矩阵，多个Transformerencoder的输出矩阵进行特征拼接后输入到一个新的Transformerencoder中，并将对应位置输出的新图片特征矩阵和文本特征矩阵进行特征融合，生成图片、文本联合特征矩阵；S3、节点指导的图文联合注意力：将S1中得到的图节点特征和S2中得到的图片、文本联合特征作为输入，利用记忆注意力机制计算两种特征间的异构关系，通过该注意力机制融合关系图的拓扑结构和图文联合特征，生成多模态的图节点特征；S4、多模态图推理：在S1中构建的带权无向图的基础上，利用S3中计算所得的多模态图节点特征对无向图上的每个节点进行表示，通过多层图卷积神经网络在无向图上执行多模态的异质图推理，推理所得的图节点嵌入作为多模态情感分类器的输入，以实现情感的极性预测。

全文数据：

权利要求：

百度查询： 茅台学院 一种深度集成社交内容和关系的情感分析方法