买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海师范大学

摘要：本发明涉及一种基于编码器‑双解码器的图像中文描述生成方法，包括：获取数据集，包括图像描述数据集和对应的背景语料数据集；对数据集进行数据预处理，将预处理后的数据集划分为训练集、验证集和测试集；构建编码器‑双解码器模型，并设定模型参数以及超参数，基于训练集和验证集，对编码器‑双解码器模型进行训练；基于测试集对训练后的编码器‑双解码器模型进行测试，以得到图像描述生成模型；将待描述图像输入图像描述生成模型，输出得到待描述图像对应的标题字段以及描述文本。与现有技术相比，本发明能够充分利用编码器获取的特征信息、能够对图像包含的信息进行丰富描述，具有准确率高、语句含义丰富通顺、图像与文本相关性强的优点。

主权项：1.一种基于编码器-双解码器的图像中文描述生成方法，其特征在于，包括以下步骤：S1、获取数据集，所述数据集包括图像描述数据集和对应的背景语料数据集；S2、对数据集进行数据预处理，将预处理后的数据集划分为训练集、验证集和测试集；S3、构建编码器-双解码器模型，并设定相应的模型参数以及超参数，之后基于训练集和验证集，对编码器-双解码器模型进行训练；基于测试集对训练后的编码器-双解码器模型进行测试，以得到图像描述生成模型；S4、将待描述图像输入图像描述生成模型，输出得到待描述图像对应的标题字段以及描述文本；步骤S3具体包括以下步骤：S31、构建编码器-双解码器模型，其中，编码器用于提取图像中的信息以及信息之间的关联，双解码器用于读取来自编码器输出的信息、并输出对应的描述；S32、基于训练集和验证集，对编码器-双解码器模型进行训练；S33、基于测试集对训练后的编码器-双解码器模型进行测试，并根据设定的评估指标对测试结果进行评估，若评估通过，则当前训练后的编码器-双解码器模型即为图像描述生成模型，否则返回步骤S32；步骤S31中编码器采用Transformer结构，所述双解码器包括依次连接的Title-Decoder和Text-Decoder，所述编码器分别与Title-Decoder、Text-Decoder相连接，所述Title-Decoder和Text-Decoder均采用LSTM网络实现；步骤S33中对训练后的编码器-双解码器模型进行测试时，所述Text-Decoder的输入包括编码器输出信息、从Title-Decoder输出中提取得到的关键词信息、来自背景语料库中的信息在Attention机制下对于描述文本的整体扩写；步骤S4具体包括以下步骤：S41、输入待描述图像，编码器采用多级自注意力机制提取出图像特征信息；S42、编码器将提取到的所有图像特征信息输入Title-Decoder中，输出得到待描述图像对应的标题字段；S43、从Title-Decoder输出的标题字段中提取出关键词信息，结合编码器提取的图像特征信息，共同输入Text-Decoder中，输出得到待描述图像对应的文本信息；S44、整合Title-Decoder和Text-Decoder的输出，以作为待描述图像所包含信息的描述。

全文数据：

权利要求：

百度查询： 上海师范大学 一种基于编码器-双解码器的图像中文描述生成方法