买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于计算机视觉识别技术领域，具体是一种基于边界框角点检测矫正的发票识别方法。使用目标检测算法检测发票最大外边框的四个角点区域，并且在使用Harris角点检测算法之前首先通过图像形态学腐蚀和膨胀对角点区域进行处理，防止角点检测失败，检测算法更加可靠和准确；通过将拍摄的不标准发票图像通过透视变换投影在固定大小和固定格式的标准发票版式上，然后通过预标注的字段位置裁剪发票识别区域获取准确的识别结果。

主权项：1.一种基于边界框角点检测矫正的发票识别方法，其特征在于包括如下步骤：S1.目标检测以yolov5目标检测算法检测发票边界框上的角区域和发票类别区域；角区域为四个角区域，发票类别区域包括增值税普通发票、增值税电子发票、增值税专用发票和增值税电子专用发票；取RGB彩色图像的R通道，复制R通道替换G、B通道，替换融合组成三个通道的图片，进行边界框四个角区域和发票类别区域检测训练和推理；S2.角点检测对于步骤S1检测得到的四个角区域使用Harris角点检测算法找到四个角点坐标位置，在使用Harris角点检测算法之前首先对检测到的角区域使用OpenCV计算机视觉库中大津法OTSU二值分割得到二值图片，然后使用图像形态学膨胀腐蚀处理，用2*2的结构元素对角区域腐蚀，防止二值化后角区域边界线断裂，再使用3*3的结构元素对角区域膨胀，细化边界线，最后使用Harris角点检测算法以3*3的大小为模板得到角点坐标位置；S3.图像矫正对于步骤S1检测得到的发票类别区域以OCR识别得到发票类别，结合发票类别框与四个角点构成的四边形框的位置推断出四个角点透视变换的坐标顺序，根据检测的四个角点和该标准发票类型在1500*950像素下四个边界点的坐标计算透视变换的矩阵，根据投影矩阵将当前发票投影在1500*950像素大小的图片上得到矫正发票图片，对于S1中得到的四个角点构成四边形，分析发票类别区域框位于该大四边形的方位上、下、左、右，发票类别框在大四边形框的下方说明发票旋转了180度，右下角的点实际对应透视变换投影的第一个坐标，左下角点实际对应透视变换投影的第二个坐标，左上角点对应透视变换投影的第三个坐标，右上角点对应透视变换投影的第四个坐标；根据发票边界框相对于发票类别框的相对位置，按此种方法推断其他方位时合适的四个角点坐标顺序，并能得到正立的发票类别区域裁剪图片；同样该区域可能存在红章干扰，在OCR文字识别之前使用S1所述方法去除红章，再使用SVTR文字识别算法识别文字内容得到发票类型；根据检测并排序的四个角点和该标准发票类型在1500*950大小时四个边界点的坐标计算透视变换的投影矩阵，根据投影矩阵将当前发票投影在1500*950大小的图片上得到矫正发票图片和发票类别；S4.在步骤S3中所述的SVTR文字识别OCR算法识别发票类别，具体在S1中已经检测到了发票类别文字区域，通过百度paddleOCR项目中集成的SVTR文字识别算法将截取的发票类别区域图片进行文字识别，便可准确识别得到发票的类型；S5.关键字段标记对于发票使用LableImg矩形框标注工具标记该类标准发票在1500*950像素下时各个文本内容的区域位置并保存为Json文件，导入标准发票模板，将其缩放到1500*950像素下，然后标记待识别的发票字段区域，将区域坐标按发票类型和不同字段保存在Json文件中，后续识别将直接读取并匹配，无需重复标记；S6.识别模块根据步骤S3中得到的发票类别获取S4步骤中该发票类别中待识别区域的坐标，根据识别区域标识和坐标将步骤S3得到的矫正发票图片完成识别区图片裁剪，最后利用SVTR文字识别算法识别裁剪图片的文字内容并与LabelImg工具标识的字段类型一一匹配得到发票识别结果。

全文数据：

权利要求：

百度查询： 中电万维信息技术有限责任公司 一种基于边界框角点检测矫正的发票识别方法