买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

摘要：本发明涉及人工智能技术，提供了一种基于迁移学习的图像描述生成方法、装置、设备及介质，该方法包括：获取目标图像；对所述目标图像进行预处理，确定目标区域；将所述目标区域输入已训练的属性生成模型，得到属性目标向量；将所述属性目标向量输入已训练的文本生成模型，得到预测语句。根据本发明实施例提供的方案，能够通过属性生成模型来获取目标图像中包含高层语义信息的属性目标向量，从而提高图像描述生成的效果，而且能够通过迁移学习来降低属性生成模型的训练难度。

主权项：1.一种基于迁移学习的图像描述生成方法，其特征在于，所述方法包括：获取目标图像；对所述目标图像进行预处理，确定目标区域；将所述目标区域输入已训练的属性生成模型，得到属性目标向量；将所述属性目标向量输入已训练的文本生成模型，得到预测语句；其中，所述属性生成模型通过如下步骤训练：获取训练数据集，其中，所述训练数据集包括多个训练图像和各个所述训练图像对应的描述语句，所述描述语句包含多个属性词；基于所述属性词构建属性词典，并根据所述描述语句和所述属性词典，确定与所述描述语句对应的真实属性标签；对预设的图像分类模型进行迁移学习，得到预训练模型，其中，所述预训练模型包括依次连接的卷积神经网络和多类别分类器，所述卷积神经网络用于提取所述训练图像的图像特征；基于所述属性词典和预设的分类算法，对所述多类别分类器进行微调，其中，微调后的所述多类别分类器用于确定所述图像特征所对应的属于所述属性词典的属性词；将所述训练图像和所述真实属性标签作为训练数据，对微调后的所述预训练模型进行训练，以得到属性生成模型；其中，所述基于所述属性词构建属性词典，包括：确定所述属性词在所述描述语句中的出现频率；基于所述出现频率和预设的词典容量值，对所述属性词进行筛选，确定目标属性词；根据所述目标属性词，建立属性词典；其中，所述将所述训练图像和所述真实属性标签作为训练数据，对微调后的所述预训练模型进行训练，以得到属性生成模型，包括：将所述训练图像输入微调后的所述预训练模型，确定属性训练向量；根据所述真实属性标签和所述属性训练向量确定第一模型损失函数；基于所述第一模型损失函数，更新微调后的所述预训练模型的模型参数，以得到属性生成模型；其中，所述第一模型损失函数的公式为： 其中，J为由所述第一模型损失函数而确定的第一模型损失，N为所述训练图像的数量，c为所述词典容量值；pij为第i个所述训练图像对应的可能性序列pi中的第j个元素，pi＝[pi1,pi2,...,pic]，pij是指第i个所述训练图像存在第j个所述目标属性词的概率；yij为第i个所述训练图像对应的真实属性标签中的第j个元素，yij的计算步骤为：当第i个所述训练图像存在第j个所述目标属性词，则yij＝1，否则yij＝0，1≤i≤N，且i、N均为正整数。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 基于迁移学习的图像描述生成方法、装置、设备及介质