买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种基于Transformer的双向场景文本方法，包括以下步骤：（1）开源网站获取数据集，分为训练集和测试集；（2）构建BiSTR双向场景文本识别网络并进行训练，包括：图像编码器模块、ViT字符编码器模块、交叉门控融合机制模块和基于Transformer的双向解码器模块；（3）得到最终预测结果；本发明提出了一个交叉门控融合机制将图像级特征和字符级特征合并提高了模型获取全文信息的能力；在Transformer结构中引入方向嵌入，提供了两个不同方向的解码，上下文信息互为补充，提升了场景文本识别模型的准确性。

主权项：1.一种基于Transformer的双向场景文本识别方法，其特征在于，包括以下步骤：（1）开源网站获取数据集，分为训练集和测试集；（2）构建BiSTR双向场景文本识别网络并进行训练，包括：图像编码器模块、ViT字符编码器模块、交叉门控融合机制模块和基于Transformer的双向解码器模块；其中，图像编码器模块用于将图像输入ResNet图像编码器中提取图像级特征；ViT字符编码器模块用于将图像输入ViT字符编码器提取字符级特征；交叉门控融合机制模块用于集成图像级和单词级特征；由多头交叉注意力机制和双曲正切-门控机制组成；将全局特征线性投影到局部表示；将全局特征视为视觉内容，利用多头交叉注意力机制将全局特征与裁剪的视觉特征合并，公式如下： ；其中，Q表示查询向量,K表示键向量，V表示值向量，表示图像级特征，表示字符级特征；在多头交叉注意力机制中添加双曲正切-门控机制，双曲正切-门控机制用于在初始化时保持向前传递的完整性，并在训练期间逐渐在原始的全局特征和融合表示之间转换，公式如下： ；其中，tanh为双曲正切函数，为字符级特征，是可学习参数，初始化为0；表示多头注意机制输出的特征；表示门控融合输出的特征；基于Transformer的双向解码器模块具体如下：融合机制得到的结果经过特征组合后输入到Transformer双向解码器中，Transformer双向解码器中在位置嵌入和标记嵌入的基础上增加方向嵌入，同时以原始和反向字符顺序解码，模型对给定样本产生两个预测，利用交叉熵损失计算各类型真值的概率，最后将单词概率最高的输出将被选择为最终预测；（3）得到最终预测结果。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于Transformer的双向场景文本识别方法