买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明提供一种基于NMF和低秩张量的不完整多模态媒体数据聚类方法，属于媒体信息处理技术与数据挖掘技术领域。包括以下步骤：1应用于网络社交媒体平台的不完整多模态媒体数据预填充和分解；2基于不完整多模态社交媒体平台数据的低秩张量模型融合；3融入测量机制，学习多模态社交媒体平台数据的共识表示；4计算和优化联合目标函数，迭代更新直至满足收敛条件，完成聚类学习。该模型可以有效融合模态中的可见实例和视图之间的信息，以填补缺失的信息。也可以通过多个模态的高阶相关性来捕获缺失信息，这有助于获得良好的多模态聚类结果。

主权项：1.一种基于NMF和低秩张量的不完整多模态媒体数据聚类方法，其特征在于，包括以下步骤：步骤1、应用于网络社交媒体平台的不完整多模态媒体数据预填充和分解步骤1.1应用于网络社交媒体平台的不完整多模态媒体数据预填充设定Xv代表原始的社交媒体平台多模态媒体数据集，针对不完整社交媒体平台数据中不同模态未采集到的缺失数据采用补0的方式进行预填充，填充过程如下： 其中，操作是选择社交媒体平台的不完整多模态数据Xv中的缺失数据用0填充，填充完的零矩阵映射到缺失预填充矩阵中，未缺失的社交媒体平台模态数据则映射到矩阵中，构建得到预填充后的社交媒体平台多模态数据矩阵Yv，表示方式如下： 其中，代表未缺失的社交媒体平台多模态数据映射矩阵，代表缺失的社交媒体平台多模态数据映射矩阵；步骤1.2应用于网络社交媒体平台的不完整多模态媒体数据分解为了解决不完整多模态媒体数据低维表示及维度一致性的问题，引入非负矩阵分解模型，保证模态数据的统一维度和低维表示的有效性，Hv代表统一维度后的社交媒体平台多模态媒体数据，计算过程如下： 其中，λ1是一个惩罚参数；nv代表数据采集完整情况下的社交媒体平台模态实例数，nov代表社交媒体平台多模态数据中成功采集的未缺失实例数，ncpv代表社交媒体平台多模态数据中未成功采集的缺失实例数；通过对未缺失的社交媒体平台多模态数据映射矩阵进行非负矩阵分解，形成的未缺失社交媒体平台数据多模态低维表示矩阵由缺失实例矩阵形成的缺失实例低维表示零矩阵；Qv为非负矩阵分解后的系数矩阵；Tv是对每个模态数据低维表示后的模态矩阵进行重构操作，目的是将降维后的不完整社交媒体平台模态数据按照原本的实例排列顺序进行排列；步骤2、基于不完整多模态社交媒体平台数据的低秩张量模型融合；引入低秩张量约束用于不完整多模态社交媒体平台数据的填充；低秩张量模型通过具有的低秩先验信息来辅助解决填充问题，能够有效实现不完整多模态社交媒体平台数据更加精确的填充；通过步骤1得到的社交媒体平台多模态低维表示矩阵Hv构建不完整多模态社交媒体平台数据的张量模型，构建过程如下： 其中，Ψ操作代表将降维后的二阶结构矩阵Hv按照模态顺序进行罗列，构建三阶张量模型利用张量核范数来近似张量低秩表示，通过最小化张量秩的方法实现低秩张量，实现不完整多模态社交媒体平台数据的低秩张量模型融合，优化模型如下： 为了填充不完整多模态社交媒体平台数据构建的张量模型以及使目标函数可分离，引入辅助变量Km，计算过程如下： 其中，km是矩阵Km的矢量化；Pm是用于对齐Hm和Km之间对应元素的对齐矩阵，Hm是通过按模展开不完整多模态社交媒体平台数据张量模型的表示矩阵，张量模型的按模展开的定义表示为h是多模态社交媒体平台数据构建的低秩张量模型的矢量化；通过公式6实现模型的低秩约束，实现不完整多模态社交媒体平台数据的低秩张量填充模型；步骤3、融入测量机制，学习多模态社交媒体平台数据的共识表示；考虑到步骤2中填充不完整社交媒体平台多模态数据之后存在的模态之间的实例和语义彼此对齐的问题，基于此，构建一个整合所有模态数据的一致表示模型，如下所示： 其中，U代表填充后的不完整社交媒体平台多模态数据的一致性表示矩阵，Hv为步骤2经过低秩张量模型填充处理后的不完整模态数据，通过函数Λ运算获得一致性表示矩阵的公式如下： 其中，SU代表不完整社交媒体平台多模态数据的一致性表示矩阵U的相似度矩阵，代表低秩张量模型填充处理后的不完整模态数据矩阵Hv的相似度矩阵，该函数通过最小化不完整社交媒体平台多模态数据Hv和一致性学习矩阵U之间的差距，可以得到更好的融合表示；SU＝UUT作为相似性度量的衡量标准，在此基础上令上述公式8可以改写如下： 忽略e，得到最终的一致性表达式如下： 步骤4、计算和优化联合目标函数，迭代更新直至满足收敛条件，完成聚类学习；在步骤1、步骤2、步骤3的基础上，最终得到基于NMF和低秩张量的不完整多模态媒体数据聚类模型： 根据交替方向最小化策略，推导出第三步得到模型中的各个相关矩阵和相关因子的更新公式，对各个相关矩阵及权重因子进行更新迭代，以获得局部最优解，其中，相关矩阵包括基于社交媒体平台的不完整多模态低维表示矩阵，基于社交媒体平台的系数矩阵，辅助变量矩阵、一致性表示矩阵、拉格朗日算子控制参数、拉格朗日乘子；具体包括以下子步骤：通过迭代求解以下子问题来最小化目标函数，优化细节如下：步骤4.1优化Hv：固定所有其他变量，对Hv求导，得到以下公式： 其中，采用传统的梯度下降法进行更新，更新方法如下： τ是步长，αm是对应于约束Pmh＝km的拉格朗日乘子，I是一个单位矩阵，操作Ωv.仅选择对应于第v个模态的N×N个元素，并将其重塑为与Hv相对应的与步骤4.2优化h：通过直接替换在Hv相应元素来直接更新该元素：h*←Hv15步骤4.3优化Qv，当固定其他变量并去除不相关项时，可以得到Qv变量的以下子问题： 步骤4.4优化U，当固定其他变量并去除不相关项时，可以得到U变量的以下子问题： 上述问题也可以通过特征值分解计算；变量U的最优解是矩阵的c个最大特征值对应的特征向量集；步骤4.5优化Km，优化子问题Km的更新公式如下： 这里ΩmPmh+αm算子操作将Pmh-km转换为对应相应模态的展开矩阵，βm＝σmμ表示光谱软阈值操作的阈值，为矩阵L的奇异值分解SVD，并按元素最大进行操作；步骤4.6优化km，优化子问题km的更新公式如下： 步骤4.7优化αm，优化子问题αm的更新公式如下： 步骤5收敛性判断；步骤5.1目标函数值判断迭代更新步骤4判断本次模型与上一次模型的目标函数值是否小于10-4，如果不小于则执行步骤5.2；如果小于则执行步骤5.3；步骤5.2根据步骤4更新公式继续更新根据步骤4更新公式继续更新各个模态的低维表示矩阵、系数矩阵、辅助变量矩阵、一致性表示矩阵、拉格朗日算子控制参数、拉格朗日乘子；步骤5.3模型收敛，完成聚类学习通过该模型进行填充和学习之后就会得到一个完备的社交媒体多模态共享特征，最后通过聚类学习，获得最终的聚类结果。

全文数据：

权利要求：

百度查询： 大连理工大学 基于NMF和低秩张量的不完整多模态媒体数据聚类方法