买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国科学院上海高等研究院申请的专利基于模态增强的图像描述模型训练方法及图像描述方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115238118B 。

龙图腾网通过国家知识产权局官网在2025-05-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210963668.0，技术领域涉及：G06F16/583；该发明授权基于模态增强的图像描述模型训练方法及图像描述方法是由黄俊;王晓艺;魏鑫燏设计研发完成，并于2022-08-11向国家知识产权局提交的专利申请。

本基于模态增强的图像描述模型训练方法及图像描述方法在说明书摘要公布了：本发明提供基于模态增强的图像描述模型训练方法及图像描述方法，其中，该模型训练方法于执行单次模型训练时，包括：获取当前训练数据中的图像数据，提取所述图像数据的图像区域特征；获取所述当前训练数据中的文本数据；对所述文本数据中的各单词，依次执行基于模态信息增强的上下文推理过程，以获得对应的语义推理信息；基于各单词对应的所述语义推理信息，和当前图像的语义标签信息，构建模型的交叉熵损失，以基于该交叉熵损失对图像描述模型进行优化，可以充分挖掘图像视觉特征和文本语言特征之间的关联性，从而增强模型推理能力，提高模型理解多模态语义的准确性。

本发明授权基于模态增强的图像描述模型训练方法及图像描述方法在权利要求书中公布了：1.一种基于模态增强的图像描述模型训练方法，其特征在于，基于训练数据和与所述训练数据对应的语义标签信息，对图像描述模型重复执行模型训练过程，以获得训练后的图像描述模型；其中，所述训练数据包括图像数据和与图像数据关联的文本数据；所述文本数据中包括预先标定的各单词；于执行单次所述模型训练过程时，包括：基于当前训练数据中的图像数据，提取所述图像数据的图像区域特征；基于所述当前训练数据中的文本数据；对所述文本数据中的各单词，依次执行基于模态信息增强的上下文推理过程，以获得各单词对应的语义推理信息；基于各单词对应的所述语义推理信息，和当前图像的语义标签信息，构建当前文本数据的交叉熵损失，以基于该交叉熵损失对所述图像描述模型进行优化；更新所述当前训练数据，以基于更新后的所述当前训练数据执行下一次所述模型训练过程，直至退出；其中，所述图像描述模型包括隐藏状态特征记忆池和视觉注意力特征记忆池；于执行单次所述基于模态信息增强的上下文推理过程时，包括：获取当前单词的隐藏状态特征和视觉注意力特征；基于当前单词的所述隐藏状态特征和所述视觉注意力特征，对应更新所述隐藏状态特征记忆池和所述视觉注意力特征记忆池，以获得当前隐藏状态特征序列和当前视觉注意力特征序列；获取所述当前视觉注意力特征序列的序列特征；基于该序列特征、当前单词的词嵌入特征，构建当前单词的隐藏状态特征查询向量；基于当前单词的所述隐藏状态特征查询向量和所述隐藏状态特征，构建当前单词的多模态特征查询向量；对所述当前隐藏状态特征序列执行时间和语义增强，以获取增强后的隐藏状态特征序列；和对所述当前视觉注意力特征序列执行时间和语义增强，以获取增强后的视觉注意力特征序列；基于所述增强后的隐藏状态特征序列和所述增强后的视觉注意力特征序列，获得当前单词的多模态特征序列；基于当前单词的所述多模态特征序列，和所述当前单词的多模态特征查询向量，采用注意力机制获取当前单词的上下文推理特征；基于当前单词的所述上下文推理特征，和当前单词的所述视觉注意力特征，获取当前单词的语义推理信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院上海高等研究院，其通讯地址为：201210 上海市浦东新区海科路99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。