买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国电子科技集团公司第十研究所

摘要：本发明公开了一种面向非对称跨域多模态数据的协同处理方法，包括：S1：根据设定类别获取不同模态的数据；S2：对不同模态的数据进行自增强和互增强操作，得到扩增后的跨模态样本数据；S3：构建异质跨模态数据表示学习模型，采用自监督对比表征方式对模型进行训练；S4：根据模型输出的特征向量，在本征对比空间进行聚类，将同一实例的跨模态数据进行关联，得到关联对；S5：基于关联好的跨模态数据，融合专家判别反馈，对异质跨模态数据表示学习模型进行优化训练。本发明通过异质跨模态数据的自增强和互增强，解决了当下数据困境的问题，同时对模型进行反馈优化训练，实现多模态特征层的度量和运算，提高了模型输出结果的准确性。

主权项：1.一种面向非对称跨域多模态数据的协同处理方法，其特征在于，包括：S1：根据设定类别获取不同模态的数据；所述不同模态的数据包括信号数据、音频数据、文本数据、三元组数据、图像数据和视频数据；S2：对不同模态的数据进行自增强和互增强操作，得到扩增后的跨模态样本数据；对不同模态的数据进行互增强，包括图文互增强、文图互增强以及信号-多模态数据互增强；所述图文互增强，通过中文视觉-语言迁移模型将带有掩蔽的中文短语和多张可见光图像进行编码，得到跨模态特征，再对跨模态特征进行掩蔽词生成任务计算，得到基于图像的文本增强样本；所述文图互增强，通过Translational-Dalle-Mega模型对不带有掩蔽的完整中文短句，进行语种翻译得到中间语句，生成包含中间语句核心实体的图像，再对生成的图像与原始中文语句进行语义特征比较进行图像过滤，得到基于文本的图像增强样本；其中，Translational-Dalle-Mega模型是基于Dalle-Mega模型，通过在Dalle-Mega模型前添加一个前置文本翻译模块与一个后置多模态过滤模块构建得到；所述信号-多模态数据互增强，基于同一对象的信号数据频域特征和多模态数据语义特征，建立信号数据频域特征和多模态数据语义特征的映射关系，构建并训练异质语义特征转移矩阵T；对于新的信号数据，通过其频域特征矩阵T得到对应的多模态数据语义特征，生成多模态增强样本，对于新的多模态数据，通过其语义特征和矩阵T的逆矩阵得到对应的信号数据频域特征，生成信号增强样本；S3：构建异质跨模态数据表示学习模型，采用自监督对比学习表征对模型进行训练；S4：根据模型输出的特征向量，在本征对比空间进行聚类，将同一实例的跨模态数据进行关联，得到关联对；自监督对比学习表征，具体过程如下：将增强后的样本数据输入本征编码器中，得到样本对应的本征特征表示；将样本对应的本征特征输入解码器中，在本征对比空间得到对应的投影向量；对所述投影向量，采用Sinkhorn-Knopp算法进行聚类，得到聚类结果；根据聚类结果将本征特征向量相近的跨模态数据关联在一起，得到关联对；S5：基于关联好的跨模态数据，融合专家判别反馈，对异质跨模态数据表示学习模型进行优化训练。

全文数据：

权利要求：

百度查询： 中国电子科技集团公司第十研究所 一种面向非对称跨域多模态数据的协同处理方法