买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学;深圳市洞见智慧科技有限公司

摘要：本发明提出一种即插即用的风格图像描述方法，将风格图像描述解耦成事实图像描述和融合风格元素两部分，使用一个生成式风格鉴别器作为后处理模块，引导一个事实图像描述模型在合适的位置生成风格单词或短语，从而完成风格图像描述任务。因为任意现成的事实图像描述模型都可以用来负责生成描述的准确性，该方法不需要预训练的过程，只需要在小规模的风格语料库上进行训练，节省了绝大部分的训练时间和计算资源。

主权项：1.一种即插即用的风格图像描述方法，预设输入一张图像x和期望风格s，可以生成一个含有T个单词的用于描述x的内容且语言风格符合s的句子y1:T，；其特征在于，将风格图像描述任务解耦成事实图像描述和融合风格元素两部分，分别由一个事实图像描述模型和生成式风格鉴别器负责，包括以下步骤：步骤一：将图像x，输入给一个事实图像描述模型fm，fm以自回归的方式为图像x生成事实描述，即仅解释x的内容的句子；在预测第t个单词yt时，将x和已生成单词y1:t-1输入给fm，fm输出预测yt的概率分布Pyt|x,y1:t-1；在预测第1个单词y1时，将x输入给fm，fm可以输出预测y1的概率分布Py1|x；步骤二：在所述步骤一的同时，将所述图像x和风格s，输入给一个生成式风格鉴别器d，所述风格鉴别器d以生成式的方式，鉴别将要生成的句子符合s的概率；在预测第t个单词yt时，将x、s和y1:t-1输入给所述风格鉴别器d，所述风格鉴别器d输出yt的每一种可能所构成的句子符合s的概率Ps|x,y1:t-1,yt；步骤三：完成步骤一和步骤二后，计算事实图像描述模型fm输出的Pyt|x,y1:t-1和生成式风格鉴别器d输出的Ps|x,y1:t-1,yt的加权后验，得到最终预测yt的概率分布Pyt|s,x,y1:t-1，用贪心搜索的方法对齐进行采样，即选中概率最大的yt作为输出；在获得yt后，将其假如到y1:t-1中，预测下一个单词yt+1，以此循环，直到生成设定的句子截止符号，从而获得能够描述x的内容且语言风格符合s的句子。

全文数据：

权利要求：

百度查询： 大连理工大学 深圳市洞见智慧科技有限公司 一种即插即用的风格图像描述方法