买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西师范大学

摘要：本发明属于计算机视觉领域，公开了一种基于笔顺动态学习的可解释性少样本字体生成方法，包括下列步骤。步骤一、建立字体生成模型；字体生成模型包括风格‑内容解耦生成模型，风格‑内容解耦生成模型基于生成对抗网络构建，包括生成网络和判别网络；步骤二、对字体生成模型进行训练，通过将整体损失最小化来优化少样本字体生成模型；步骤三、完成训练后利用训练好的字体生成模型进行字体生成。所述字体生成模型为一种少样本字体生成模型，还包括笔顺动态学习模型。本发明提高了笔顺特征生成的准确性和对汉字图像的泛用性，即使目标图像的样本较少也能保证较高的准确性。

主权项：1.一种基于笔顺动态学习的可解释性少样本字体生成方法，包括下列步骤：步骤一、建立字体生成模型；字体生成模型包括风格-内容解耦生成模型，风格-内容解耦生成模型基于生成对抗网络构建，包括生成网络和判别网络；步骤二、对字体生成模型进行训练，通过将整体损失最小化来优化少样本字体生成模型；步骤三、完成训练后利用训练好的字体生成模型进行字体生成；其特征在于：所述字体生成模型为一种少样本字体生成模型，还包括笔顺动态学习模型，风格-内容解耦生成模型输出的生成图像和训练采用的目标图像二者各自经笔顺动态学习模型处理产生对应的生成笔顺特征和目标笔顺特征；所述步骤二包括：S2.1、训练前采集训练集并创建笔顺库；S2.2、在训练过程中，通过生成网络得到生成图像；S2.3、通过判别网络对生成图像进行判别，计算生成对抗网络的对抗损失；S2.4、将生成图像和对应的目标图像均输入笔顺动态学习模型，结合文本嵌入层提供的笔顺嵌入向量，笔顺动态学习模型产生生成笔顺特征和目标笔顺特征，计算生成笔顺特征和目标笔顺特征间的笔顺动态学习损失；S2.5、计算生成图像与目标图像之间的L1损失，结合对抗损失和笔顺动态学习损失计算少样本字体生成模型的总损失，对少样本字体生成模型进行优化；笔顺动态学习模型包括可解释笔顺引导模块和文本嵌入层；所述步骤2.1中，针对汉字中的基本笔画进行编码，对笔顺的开头和结尾设定相应的标记符，再进行每个汉字的笔顺编码，在开头和结尾之间使用基本笔画的编码按笔画顺序进行编码排序，形成对应各个汉字的笔顺编码信息，将相应汉字作为该笔顺编码信息的键名，由具体笔画组成的序列为键值，构建笔顺库；所述步骤2.4中，通过文本嵌入层从笔顺库中提取与输入的图像中汉字相应的笔顺编码信息，并将笔顺编码信息作为笔顺嵌入向量输入到后续的可解释笔顺引导模块；可解释笔顺引导模块根据图像中汉字的每个笔画的对应关系找到其特征表示，并通过串行方法学习笔画之间的序列关系，可解释笔顺引导模块包括图像编码器和按顺序排列的多个笔顺注意力块；所述步骤2.4中，首先通过图像编码器从图像中获取图像特征fy，笔顺嵌入向量用stroke表示，strokei则表示笔顺嵌入向量stroke中的第i个嵌入，将图像特征fy与笔顺嵌入向量的第一个嵌入stroke1一起输入到第一个笔顺注意力块中，以建立第一个笔画的对应关系；对其他的笔顺注意力块而言，第i-1个笔顺注意力块保留了相应笔画的注意力权重wi-1，并在学习后更新其内部的隐藏特征hi-1，然后将该隐藏特征hi-1与图像特征fy、笔顺嵌入向量stroke中的第i个嵌入strokei一起输入到下一个笔顺注意力块中，以进行相应的顺序指导；通过以串行方式完成n个笔画的顺序学习，n为图像中汉字的笔画数量，就能够获得与所有笔画及其顺序相关的注意力权重，得到笔画顺序注意力图[w1,…,wi-1,wi,…,wn]；此后将笔画顺序注意力图与图像特征fy相乘，以获得包含笔画顺序信息的初始笔顺图像特征fyso；笔顺注意力块是一个具有注意力机制的循环神经单元，本方法采用基于内容的注意力机制，所述注意力机制将笔顺嵌入向量作为查询向量，根据查询向量对输入的图像特征fy中每个元素的相关性进行计算得到相应的注意力权重，所述相关性基于各个笔画在图像中对应特征表示的相似度；除第一个笔顺注意力块以外，前一个笔顺注意力块输出的隐藏特征hi-1、图像特征fy和笔顺嵌入向量中对应的第i个嵌入strokei作为第i个笔顺注意力块的输入；所述注意力机制使用第i个嵌入strokei作为查询来计算图像特征fy中与相应笔画对应的注意力权重wi；通过对输入的图像特征fy加权获得对应笔画的序列特征s'i，随后，将序列特征s'i和注意力机制更新的隐藏特征h'i输入循环神经单元，以进行时间关系排序和隐藏状态更新，得到新的序列特征si和新的隐藏特征hi；笔顺动态学习模型还包括笔顺混合器，笔顺混合器为卷积神经网络，通过笔顺混合器对生成图像和目标图像的各自产生的初始笔顺图像特征进行进一步的特征提取，生成图像的初始笔顺图像特征经笔顺混合器处理后得到生成笔顺特征，目标图像的初始笔顺图像特征经笔顺混合器处理后得到目标笔顺特征fso，本方法通过笔顺动态学习损失拉近两者之间的差异，用于优化少样本字体生成模型。

全文数据：

权利要求：

百度查询： 江西师范大学 一种基于笔顺动态学习的可解释性少样本字体生成方法