买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京网智天元大数据科技有限公司;网智天元科技集团股份有限公司

摘要：本申请提供了一种汉藏语多模态的图文处理方法及处理系统，通过提取汉藏语图文信息中汉藏语图像模态的图像特征和汉藏语文本模态的文本特征以确定第一汉藏语图文交互特征信息，根据第一汉藏语图文交互特征信息确定第一交互特征量；将汉藏语图像模态的图像切分重组得到汉藏语图像副本，根据汉藏语图像副本的图像副本特征和文本特征确定第二汉藏语图文交互特征信息，根据第二汉藏语图文交互特征信息确定第二交互特征量；基于第一交互特征量和第二交互特征量输出所述汉藏语图文交互的交互结果。上述方案基于第一交互特征量和第二交互特征量输出交互结果，可实现汉藏语图文跨模态交互的语义关联，从而提高汉藏语图文跨模态交互处理结果的真实性。

主权项：1.一种汉藏语多模态的图文处理方法，其特征在于，包括如下步骤：获取待处理的汉藏语图文信息；根据不同模态提取器对应提取所述汉藏语图文信息中汉藏语图像模态的图像特征和汉藏语文本模态的文本特征；对所述图像特征和所述文本特征进行特征交互，得到第一汉藏语图文交互特征信息，根据所述第一汉藏语图文交互特征信息构建汉藏语图文的第一交互轨迹，进而得到第一交互特征量；根据预设的多梯度切分尺度对所述汉藏语图像模态的图像进行切分处理，得到多个切分图块，通过所述汉藏语图像模态的图像的画幅比例重组所有的切分图块，得到汉藏语图像副本，根据对应提取器提取所述汉藏语图像副本的图像副本特征；对所述图像副本特征和所述文本特征进行特征交互，得到第二汉藏语图文交互特征信息，根据所述第二汉藏语图文交互特征信息构建汉藏语图文的第二交互轨迹，进而得到第二交互特征量；根据所述第一交互特征量和所述第二交互特征量确定汉藏语图文交互处理过程中的交互处理置信度，基于所述交互处理置信度输出汉藏语图文交互的交互结果；其中，对所述图像特征和所述文本特征进行特征交互，得到第一汉藏语图文交互特征信息具体包括：确定所述图像特征的交互影响参量；确定所述文本特征的第一交互影响参量；将所述图像特征与所述文本特征进行维度对齐；根据所述图像特征的交互影响参量、所述文本特征的第一交互影响参量以及维度对齐后的图像特征和文本特征确定第一汉藏语图文交互特征信息；其中，确定所述图像特征的交互影响参量具体包括：获取所述图像特征与所述文本特征进行维度对齐后的维度大小；获取所述图像特征与转置后的文本特征；根据所述图像特征、所述转置后的文本特征以及所述维度大小确定所述图像特征的交互影响参量；其中，确定所述文本特征的第一交互影响参量具体包括：获取所述图像特征与所述文本特征进行维度对齐后的维度大小；获取所述文本特征与转置后的图像特征；根据所述文本特征、所述转置后的图像特征以及所述维度大小确定所述文本特征的第一交互影响参量；其中，对所述图像副本特征和所述文本特征进行特征交互，得到第二汉藏语图文交互特征信息具体包括：确定所述图像副本特征的交互影响参量；确定所述文本特征的第二交互影响参量；将所述图像副本特征与所述文本特征进行维度对齐；根据所述图像副本特征的交互影响参量、所述文本特征的第二交互影响参量以及维度对齐后的图像副本特征和文本特征确定第二汉藏语图文交互特征信息；其中，确定所述图像副本特征的交互影响参量具体包括：获取所述图像副本特征与所述文本特征进行维度对齐后的维度大小；获取所述图像副本特征与转置后的文本特征；根据所述图像副本特征、所述转置后的文本特征以及所述维度大小确定所述图像副本特征的交互影响参量；其中，确定所述文本特征的第二交互影响参量具体包括：获取所述图像副本特征与所述文本特征进行维度对齐后的维度大小；获取所述文本特征与转置后的图像副本特征；根据所述文本特征、所述转置后的图像副本特征以及所述维度大小确定所述文本特征的第二交互影响参量。

全文数据：

权利要求：

百度查询： 北京网智天元大数据科技有限公司 网智天元科技集团股份有限公司 一种汉藏语多模态的图文处理方法及处理系统