买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川智能信息处理技术研究中心

摘要：本发明公开了一种基于市场数据监管的多模态处理方法，包括采集市场监管的文本、图像、语音和视频四种模态的数据信息为基础；将基础信息通过数据预处理和数据对齐同步后构建多模态交互数据集；构建序列化分词器对多模态数据进行分词序列化和特征提取；针对多模态构建多对一的共享特征空间并利用冻结参数的编码器提取多模态高级语义特征；根据下游场景设定任务头从而完成指定的分类和监测等任务；根据任务场景输出多模态数据处理结果。本发明能够充分利用多模态数据间的关联性和互补性，通过模态共享编码和指定任务头能够实现市场监管多任务场景下的多模态数据联合分析与处理，为监管业务提供决策支持，提高了监管效率和准确性。

主权项：1.一种基于市场数据监管的多模态处理方法，其特征在于，包括以下步骤：S10、采集市场监管的文本、图像、语音和视频四种模态的数据信息作为多模态基础信息；S20、将多模态基础信息通过预处理和对齐同步后构建多模态交互数据集；S30、对多模态交互数据集中的多模态数据构建序列化分词器进行分词序列化和特征提取；S40、针对S30处理后的多模态数据构建多对一的共享特征空间并用冻结参数编码器提取多模态高级语义特征；其中构建多对一的共享特征空间并用冻结参数编码器提取多模态高级语义特征的过程包括以下子步骤：S41、将步骤S30处理后获得的文本、图像、语音和视频四种模态的数值序列输入到预训练的Transformer编码器，通过注意力机制和位置编码，捕捉序列内部的依赖关系和语义信息，编码器内部除了自注意力层和前馈网络层，还使用层归一化和残差链接促进深层网络的训练；具体过程包括：S41a、将文本、图像、语音和视频四种模态的数值序列作为输入Input，这些数值序列已经通过各自模态的序列化分词器处理，并转换为适合Transformer编码器的格式，表示为： 其中，Xt是在时间步t的多模态输入序列，包含文本模态输入序列、图像模态输入序列、语音模态输入序列和视频模态输入序列的特征；S41b、采用自注意力机制Attention编码，表示为： 其中，Q、K和V分别是查询Query、键Key和值Value的矩阵，DK表示键的维度，上标T表示矩阵的转置；S41c、加入前馈神经网络FFN，表示为： 其中，W1和W2为权重矩阵，b1和b2为偏置项；S41d、加入层归一化LN，表示为： 其中，y是输入张量，𝜇和𝜎分别为y的均值和方差，𝛾和𝛽为可学习的参数；S41e、使用残差连接实现输出Output，将自注意力层的输出加上原始输入张量x，表示为： 帮助梯度流动并减少训练深度网络时的消失梯度问题；S42、冻结Transformer编码器的所有参数，保持后续训练中编码器权重不变；S43、设计多模态适配层将不同模态特征映射到共享的特征空间中进行共享编码，输出统一的共享特征表示；具体过程包括：S43a、为每种模态数据设计适配器，以学习相应模态的特征表示，适配器统一表示为： 其中，Wmodality和bmodality分别为模态对应的权重矩阵和偏置项，表示适配器的输出，表示适配器的输入，modality表示模态，包含文本、图像、语音和视频四种；S43b、通过一个跨模态关联层来学习不同模态之间的关联，表示为： 其中，M为模态的数量，是通过注意力机制为第i种模态分配的权重，表示第i种模态的适配器输出，表示跨模态关联层的输出；S43c、将跨模态关联层学习的结果与模态的特征表示相结合，以生成统一的特征表示，表示为： 其中，Zt为结合后生成的统一的特征表示；S43d、使用共享编码器进一步处理统一的特征表示，以提取深层次的共享特征表示，表示为： 应用非线性激活函数得到非线性特征表示，增强模型的表达能力，表示为： 其中，σ是非线性激活函数，是另一个线性层，用于生成最终输出的统一的共享特征表示；S50、根据下游任务场景设定任务头实现多任务场景的数据联合分析和处理；S60、根据市场监管多任务场景输出多模态数据处理结果。

全文数据：

权利要求：

百度查询： 四川智能信息处理技术研究中心 一种基于市场数据监管的多模态处理方法