买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西农业大学

摘要：本发明属于图像处理技术领域，具体涉及一种基于特征定位融合的文本编辑图像系统及方法，该系统的生成器包括多个深度注意力编辑块、特征定位模块和卷积层，各深度注意力编辑块逐个串联；除第一个深度注意力编辑块外的其他深度注意力编辑块，每个深度注意力编辑块的输入为前一个深度注意力编辑块输出的图像特征、由文本编码器编码的文本特征和由特征定位模块输出的图像定位特征，最后一个深度注意力编辑块输出的图像特征进入卷积层，卷积层将图像特征转换为生成图像。本发明能够准确地定位和识别图像中的不同部分，并将它们与文本描述进行匹配，提高图像编辑的准确性。

主权项：1.一种基于特征定位融合的文本编辑图像系统，由生成器和鉴别器组成，生成器包括一个文本编码器和一个图像编码器，其特征在于，所述生成器还包括多个深度注意力编辑块、特征定位模块和卷积层，各深度注意力编辑块逐个串联；第一个深度注意力编辑块的输入为由图像编码器编码的图像特征和由文本编码器编码的文本特征，特征定位模块的输入为由图像编码器编码的图像特征；除第一个深度注意力编辑块外的其他深度注意力编辑块，每个深度注意力编辑块的输入为前一个深度注意力编辑块输出的图像特征、由文本编码器编码的文本特征和由特征定位模块输出的图像定位特征，最后一个深度注意力编辑块输出的图像特征进入卷积层，卷积层将图像特征转换为生成图像；所述特征定位模块包含多个卷积层、多个全局池化层、分组归一化、多个Softmax激活层和多个Sigmoid激活层；首先由图像编码器输出的图像特征X要经过三个分支，分别输入到水平全局池化层、垂直全局池化层和卷积层中，水平全局池化层和垂直全局池化层输出的图像特征进行连接并卷积后又分别输入到Sigmoid激活层，然后相乘得到图像特征X1，图像特征X1进行分组归一化后分别输入到Softmax激活层和全局池化层中，Softmax激活层得到图像特征X2，全局池化层得到图像特征X3；图像特征X经过卷积层后，进入Softmax激活层，得到图像特征X4；然后将图像特征X3与图像特征X4相乘，得到图像特征X5；图像特征X经过卷积层后，进入全局池化层后得到图像特征X6；然后将图像特征X6与图像特征X2相乘，得到图像特征X7；最终，图像特征X7与图像特征X5相加进入Softmax激活层后与图像特征X进行相乘操作得到最终的图像定位特征；深度注意力编辑块包含一个上采样块、多个仿射变换层、多个ReLU激活层、多个卷积层和一个注意力特征融合块，输入的图像特征经过上采样块采样后分别与多层感知机获取的文本特征和经过卷积后的图像定位特征在仿射变换层进行仿射变换，然后通过ReLU激活层处理，每次仿射变换后经过卷积层处理，经过若干次仿射变换处理，最后将两个分支输出的图像特征进行相乘操作后，与输入的图像特征通过注意力特征融合块得到融合后的图像特征。

全文数据：

权利要求：

百度查询： 江西农业大学 一种基于特征定位融合的文本编辑图像系统及方法