买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：召邦信息(南京)有限公司;徐州医科大学

摘要：本发明提供一种基于自适应权值剪枝的多模态数据挖掘方法，涉及数据挖掘技术领域。通过提出多线性池化方法融合多模态数据特征，基于模态内和模态间的关系分析结果，可以自动融合多模态情绪特征；采用时间卷积神经网络（TCN）对基于时间序列的多模态数据进行挖掘；同时，引入模糊逻辑方法进一步指导训练方向，给出分类结果的可解释性；此外，还设计了一种基于层次相关性分析的自适应权值剪枝方法，以优化TCN模型性能，解决了多模态数据融合及现有基于深度学习的情绪识别模型的可解释性差的问题。

主权项：1.一种基于自适应权值剪枝的多模态数据挖掘方法，其特征在于，包括以下步骤：S1.从视频中绘制文本数据、视觉数据和音频数据；S2.从步骤S1所绘制的文本数据、视觉数据和音频数据中提取基本特征，得到文本特征、视觉特征和音频特征；S3.对步骤S2中所提取的文本特征、视觉特征和音频特征采用多线性池化多模态特征融合方法进行融合；使用多线性池化多模态特征融合方法时，先定义视频的多模态特征，并对文本特征、视觉特征和音频特征之间的参数化交互进行编码，集成特征；并总结N矩阵，将映射结果从列的角度通过平铺N矩阵得到融合后的特征矩阵；步骤S3中多线性池化多模态特征融合方法具体设计如下：S3.1.定义视频的多模态特征：定义为视频的多模态特征，其中表示一个模态的特征Xi，N表示模态总数，i表示i模态、i∈[1,N]，表示多个模态的集合，di表示单个模态的集合，对文本特征、视觉特征和音频特征之间的参数化交互进行编码，集成特征：F＝T×1x×2x×3x×4y×5y×6y其中F是融合特征，是需要学习的张量，其中dx表示原始模态数据集合，dy表示数据标签集合，dF表示融合后数据集合，操作×表示张量与模态W矩阵的乘积结果，x表示模态W中的特征，y表示特征x当前对应的标签；S3.2.平铺得最终矩阵：步骤S3.1中第i个融合特征Fi的计算公式为：Fi＝xtT[:,:,i]y其中T[:,:,i]y表示最后一个维度的切片操作，t表示时间，总结N矩阵[MA1,MA2,...,MAN]或[MB1,MB2,...,MBN]，其中映射结果从列的角度通过平铺N得到最终的矩阵E： V表示三种模态融合结果；其中Sumpooling表示一维非重叠窗口在相应向量上运行的池化结果之和，同时在融合阶段应用DROPOUT与Z-score归一化方法；S4.引入模糊逻辑设计时间卷积神经模糊网络对步骤S3中融合后的特征矩阵进行数据挖掘，同时引用基于分层相关性分析方法的权值剪枝方法，剔除无效神经元，进而得到数据挖掘结果；步骤S4中时间卷积神经模糊网络设计如下：S4.1.模糊化：将模糊逻辑引入到TCN的训练过程中，设计融合数据的模糊逻辑，表示IF-THEN规则，如下所示：IFpiisz1,...,AndxiisziTHENyiisωi其中，pi表示输入特征，xi表示一个模态的特征，zi定义了模糊逻辑集合，yi表示对应标签，ωi表示TCN的权重；使用高斯函数来控制： 其中，exp·是指数函数，meani和分别表示模糊逻辑集合zi的均值和标准差；S4.2.扩张因果卷积：使用扩张的因果卷积预测时间序列定律；时间序列Tt∈RN，R表示实数，N是模态数；f是时间序列上的扩张卷积函数，定义元素e的公式： 其中，e-d·J是下一个训练层的数据输入，d和r分别表示膨胀因子和卷积核的大小，膨胀因子等于使用卷积核的两个相邻部分的固定步长；S4.3.平行残差连接：创建两个非对称剩余模型，包括第一个残余模块和第二个残余模块；其中第一个残余模块有三个单元，它的输出是两个通道的结果之和；第二个残余模块比第一个残余模块多一个单元；每个残余模块使用两种不同的卷积得到相同的输入，然后对结果求和；因此，第k个滤波器的输入数据G被表示为：ReLUG＝max0,Gf1k＝ReLUwk1*G+bf2k＝ReLUwk2*G+bfk＝f1k+f2kfk表示通道的结果，f1k表示通道1的结果，f2k表示通道2的结果，*是TCN中的卷积运算，b表示偏置；定义平行残差连接的输出为：Gl+1＝Gl+fGlGl表示输入数据在l层，Gl+1表示输出在l+1层，fGl表示数据在l层时的通道结果；全连通层的输出O为： 其中，h×w表示空间维度；h和w分别表示全连通层输入数据的维度，Gni,j表示第n层输入矩阵第i行j列的数据；S4.4.去模糊化：通过对每层的模糊逻辑规则进行聚合，得到去模糊化的计算结果；去模糊化过程如下： 其中，DFi表示去模糊化结果，c表示层数，Xj表示第j层的模糊结果，ωi表示TCN的权重；在去模糊化层中，使用SoftMax函数来计算CNN的分类输出；yi＝SoftmaxDFi＝NzDFi yi表示分类概率，表示e的DFi次方，Ct表示分类类别数，Nz·表示0,1归一化值；步骤S4中基于分层相关性分析方法的权值剪枝方法设计如下：在TCN中设有l个隐藏层{H1,H2,...,Hl}，定义表示隐藏层l中特征xi的相关结果和神经元o权重，给定表示神经元o与神经元q之间的关联结果： 为了解决函数的无界性问题，引入α并对总结果进行分解： 式中，α表示可预定义的稳定器，Ioq表示神经元o与神经元q的仿射变换，Iq表示神经元q的仿射变换，定义为：Ioq＝voωoq vo是神经元o的值，ωoq表示两个神经元的权重，表示神经元o的所有的voωoq之和，bq表示基本项；在Hl隐藏层的最后一层中，输出u的相关结果为： 其中，Iqu表示神经元q和输出u的仿射变换，Iou表示神经元o和输出u的仿射变换，Iu表示输出u的仿射变换；此外，在正向传播过程中，通过随机梯度下降更新模型参数；随机梯度下降在反向传播过程中，有： g为训练步数，Tg表示训练第g步时的参数，Tg+1表示训练迭代，β为TCN的学习率，βg表示第g轮的学习率，δ表示正则化参数，X表示有关Tg和特征xi的目标函数；直到反向传播结束，得到第i个隐藏层的K个神经元的层间相关结果之和： 其中x∈[1,K]，CiKx表示第i层的第x个神经元关联结果；因此，单个神经元的关联结果为：

全文数据：

权利要求：

百度查询： 召邦信息(南京)有限公司 徐州医科大学 一种基于自适应权值剪枝的多模态数据挖掘方法