申请/专利权人：北京长河数智科技有限责任公司;长河信息股份有限公司

申请日：2023-12-18

公开（公告）日：2024-06-21

公开（公告）号：CN117542067B

主分类号：G06V30/412

分类号：G06V30/412;G06N3/0442;G06V10/52;G06V10/764;G06V10/82;G06V10/94;G06V30/19

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.03.01#实质审查的生效;2024.02.09#公开

摘要：本申请公开了一种基于视觉识别的区域标注表单识别方法，涉及图像识别技术领域，包括：对预处理后的表单图像和模板图像进行匹配；对匹配处理后的表单图像，通过集成的神经网络进行文字识别，输出文字识别结果；验证文字识别结果；构建基于神经网络的字段识别规则验证模型，验证表单中的字段数据类型、长度和取值范围；构建基于关联规则的字段关系图验证模型，验证表单中的字段之间的关联关系；字段识别规则验证模型和字段关系图验证模型采用基于多线程的并行流水线架构；对于文字识别结果，先验证字段识别规则再验证字段关系。针对现有技术中文本定位精度低的问题，本申请通过表单文本识别和字段规则验证等，提高了对复杂表单的文本识别精度。

主权项：1.一种基于视觉识别的区域标注表单识别方法，包括：对输入的表单图像进行预处理；对预处理后的表单图像和模板图像进行特征点匹配和形态学变换的匹配处理；对匹配处理后的表单图像，通过集成的卷积神经网络和循环神经网络进行文字识别，输出文字识别结果；验证并输出验证通过的文字识别结果；验证文字识别结果包含如下步骤：构建基于神经网络的字段识别规则验证模型，验证表单中的字段数据类型、长度和取值范围；构建基于关联规则的字段关系图验证模型，验证表单中的字段之间的关联关系；字段识别规则验证模型和字段关系图验证模型采用基于多线程的并行流水线架构；对于文字识别结果，先利用字段识别规则验证模型进行第一次验证，验证通过后，再利用字段关系图验证模型进行第二次验证，输出验证通过的文字识别结果；对预处理后的表单图像进行特征点匹配和形态学变换的模板匹配，还包括如下步骤：采用多尺度方向梯度直方图算法获取表单图像的特征点，生成表单特征描述子；采用多尺度金字塔算法获取模板图像的特征点，生成模板特征描述子；利用随机森林学习算法构建并训练决策树模型，匹配表单特征描述子和模板特征描述子，生成匹配特征点；根据匹配特征点，采用细板样条算法，对表单进行非线性形态学变换，以匹配表单和模板；其中，细板样条算法为用于进行非线性形变的插值算法，包含：将匹配特征点作为控制点；细板样条算法通过计算一个变换函数，将输入图像的每个像素映射到输出图像的相应位置；变换函数包含线性部分和非线性部分；线性部分由全局仿射变换组成；非线性部分由细板样条算法对每一对控制点之间的变形引入一个权重，来进行局部的非线性形变；对每个像素，通过线性部分和非线性部分的组合，计算在输出图像中的位置，以进行表单图像的非线性形态学变换；对匹配处理后的表单图像，通过集成的卷积神经网络和循环神经网络进行文字识别，输出文字识别结果，还包括如下步骤：采用卷积层和池化层构建卷积神经网络模型，提取表单图像的层次特征；采用LSTM或GRU构建循环神经网络模型，提取表单图像的时间序列特征；利用全连接层将提取的层次特征和时间序列特征在特征通道上进行拼接融合；利用全连接网络分类器，对融合后的特征进行全连接分类或回归处理，输出文字识别结果；利用全连接层将提取的层次特征和时间序列特征在特征通道上进行拼接融合，还包括如下步骤：利用全连接层学习每个特征通道的权重系数；通过基于权重的切换注意力机制，对各个特征通道进行加权融合，生成初始融合特征；利用残差连接，将输入特征和初始融合特征在特征通道上进行相加，构建多级特征金字塔表示，作为最终的拼接融合特征。

全文数据：

权利要求：

百度查询： 北京长河数智科技有限责任公司;长河信息股份有限公司 一种基于视觉识别的区域标注表单识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD