买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明涉及多模态内容生成技术领域，公开了一种基于价值体系引导的动态演化多模态价值生成方法；将给定的与价值体系有关的初始文本，输入到完成训练的生成模型，生成符合价值体系的多模态内容；生成模型的训练过程包括：查询与初始文本相关的语料文本；构建单一对抗多阶段结构，每个阶段采用一个生成结构；每个生成结构包括生成器和动态语义演化模块，且最后一个阶段的生成结构还包括判别器；通过判别器目标函数、生成器对抗目标函数，以及图文匹配度目标函数对生成模型进行训练。本发明利用动态演化模块和单一对抗多阶段结构，实现了内容生成的动态调整，能够根据历史阶段的状态重新组合词语特征，提升内容的生成效率和质量。

主权项：1.一种基于价值体系引导的动态演化多模态价值生成方法，其特征在于，将给定的与价值体系有关的初始文本，输入到完成训练的生成模型，生成符合价值体系的多模态内容；生成模型的训练过程包括以下步骤：步骤一，通过所述初始文本生成查询图结构，通过查询图结构在与所述价值体系有关的知识图谱中，查询所述初始文本的相关语料，将所述相关语料经过文字编码器，编码为句子特征；将相关语料中的每一个词语分别经过文字编码器后得到的特征拼接在一起，记为第0阶段重组后的词语特征，是相关语料中词语的数量，是句子特征的维度，表示实数；步骤二，构建具有M个阶段的单一对抗多阶段结构，每个阶段采用一个生成结构；每个生成结构包括生成器和动态语义演化模块，且最后一个阶段的生成结构还包括判别器；将随机高斯噪声和条件增强后的句子特征输入到生成器，输出第0阶段的图像特征和第0阶段的生成图像；第i阶段对应的生成结构的生成器记为，，的输入为第i-1阶段的图像特征和第i阶段重组后的词语特征，输出为第i阶段的图像特征和第i阶段的生成图像；第i阶段对应的生成结构的动态语义演化模块的输入为第i-1阶段的图像特征和第i-1阶段重组后的词语特征；动态语义演化模块，将输入的图像特征投影到与重组后的词语特征相同的嵌入空间，得到聚合后的图像特征；筛选不同阶段的词语特征，对重组后的词语特征进行更新，具体包括：先计算跨模态相关性矩阵，然后进行均值池化，以获得每个聚合后的图像特征与整个词语特征的相关性： ； ； ；其中，表示跨模态相关性矩阵中的第行与第列的元素，表示对跨模态相关性矩阵中k列的所有元素求取的均值，是图像特征的维度，表示转置；判断一个词语是否需要在下一阶段重新生成，由权重的值确定： ；其中，的取值范围为，作为权重更新下一阶段词语特征，更新后的词语特征，不需要被重新组合的词语特征被设置为0；是可学习矩阵，表示沿着通道维度的级联操作，是控制门控函数的可学习参数；为双曲正切函数；将更新后的词语特征的所在空间划分为多个词语子空间并通过注意力机制进行组合，输出第i阶段重组后的词语特征，；通过跳跃连接将所有生成图像加权求和，，得到最终的目标图像，即得到符合价值体系的多模态内容；步骤三，对生成模型进行训练：通过由与生成图像匹配的句子特征、与生成图像不匹配的句子特征、真实图像和生成图像构成的判别器目标函数，生成器对抗目标函数，以及基于标准高斯分布和训练文本高斯分布之间的散度的图文匹配度目标函数，对生成模型进行训练。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于价值体系引导的动态演化多模态价值生成方法