买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明公开了一种场景文本识别方法、系统、设备与介质，它们是一一对应的方案，方案中：设计了一个字符感知约束编码器（CACE）来感知字符级别的局部模式（如字符的形态学信息），同时引入类内类间一致性损失（I2CL）对同类别的字符在特征空间中进行聚类，进而增强字符特征的判别性，能够很好的适用于场景文本识别任务中；此外，本发明能够用较少的可训练参数训练出一个性能不俗的模型，方便部署在移动端设备中。与现有的方法相比，本发明在简单和复杂的场景中都超越了现有STR方法的识别精度，增强了在挑战性文本上的鲁棒性。

主权项：1.一种场景文本识别方法，其特征在于，包括：构建包含字符感知约束编码器，以及解码器的场景文本识别模型；训练阶段：输入场景文本训练图像至场景文本识别模型，所述字符感知约束编码器包含依次设置的多个阶段，每一阶段包含多个堆叠的编码块，相邻阶段之间设有下采样模块，设计用于编码局部模式的衰减矩阵模块，每个编码块选择引入或不引入所述衰减矩阵模块；输入图像经过每一阶段逐一处理后，获得每一阶段的输出特征图，将所有阶段的输出特征图进行融合，作为字符感知约束编码器的输出；解码器利用字符感知约束编码器的输出进行解码，获得字符特征序列并识别出字符序列；利用字符特征序列计算类内类间一致性损失，对同类别的字符在特征空间中进行聚类，探索每个字符类别的分布，以及利用识别出的字符序列计算识别损失，结合类内类间一致性损失与识别损失训练所述场景文本识别模型；推理阶段：将场景文本图像输入至训练后的场景文本识别模型，识别出字符序列；所述编码块包括：第一正则化模块、矩阵乘法与放缩模块、归一化模块、矩阵乘法模块、第二正则化模块与前馈网络；其中：编码块的输入经过第一正则化模块处理后，输出至矩阵乘法与放缩模块，以及矩阵乘法模块；矩阵乘法与放缩模块的输出经过归一化模块处理进入矩阵乘法模块与第一正则化模块的输出逐元素相乘；或者，当编码块中设有衰减矩阵模块时，归一化模块的输出与衰减矩阵模块提供的衰减矩阵逐元素相乘，再进入矩阵乘法模块与第一正则化模块的输出逐元素相乘；矩阵乘法模块的输出与编码块的输入逐元素相加获得中间结果，所述中间结果依次经过第二正则化模块与前馈网络处理后，再与所述中间结果逐元素相加，获得编码块的输出；所述衰减矩阵模块提供一个衰减矩阵D，衰减矩阵D第i行第j列元素表示为： ；其中，和分别表示二维空间中第i个视觉特征的横轴与纵轴坐标，和分别表示二维空间中第j个视觉特征的横轴与纵轴坐标，max函数为最大值函数，系数取值范围为0到1之间；类内类间一致性损失表示为： ；其中，为类内类间一致性损失，表示每个批次中字符的数量，B为批次大小，T是文本序列的最大长度；为字符特征序列中第个字符的特征，为第个字符对应的字符标签，为2范数符号；为字符标签在解码空间中的长期记忆单元，在训练期间不断更新，每一个长期记忆单元为每一类别的字符在特征空间中的聚类中心，表示词汇表的大小，k是词汇表中的一个字符标签，ck为字符标签k在解码空间中的长期记忆单元；为一个防止分母为0的常数。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种场景文本识别方法、系统、设备与存储介质