买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京工业大学申请的专利深度学习与景区知识图谱融合的手写诗词识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113609892B 。

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110663733.3，技术领域涉及：G06V30/19；该发明授权深度学习与景区知识图谱融合的手写诗词识别方法是由何坚;白佳豪设计研发完成，并于2021-06-16向国家知识产权局提交的专利申请。

本深度学习与景区知识图谱融合的手写诗词识别方法在说明书摘要公布了：深度学习与景区知识图谱融合的手写诗词识别方法属于电子信息领域，解决采用文本识别方法从景区手写诗词图像中提取的诗词文本难以将诗词的主要文本涵盖的问题。本发明通过与用户智能手机进行交互，借助其集成的北斗GPS传感器感知用户所在位置、朝向信息，用户通过智能手机的摄像头采集景区内手写诗词的图像数据；通过基于FPN的景区手写诗词检测技术对景区手写诗词图像数据中的诗词文本位置信息进行检测，提取到诗词文本的具体区域位置信息；通过基于ACE的景区手写诗词识别方法对区域内的诗词文本信息进行识别，获取到初步的诗词文本识别结果；通过景区知识图谱对初步识别的诗词文本结果进行矫正完善，将最终的诗词文本识别结果返回给用户。

本发明授权深度学习与景区知识图谱融合的手写诗词识别方法在权利要求书中公布了：1.深度学习与景区知识图谱融合的手写诗词识别方法，其特征在于，包括以下步骤：步骤1、获取需要识别的景区手写诗词文本图像以及该图像的相关属性信息，包括图像拍摄地理位置、图像背景纹理、文字方向，并将图像通过空间域增强算法减弱图像中的噪声，使原图像与去噪图像的结构相似性指数大于0.9，得到预处理结果；步骤2、将预处理后的景区手写诗词图像输入基于VGG16的特征提取网络进行诗词文本的特征提取，并且通过诗词文本分类器获得景区图像的手写诗词文本权重序列，同时对分类器进行训练；步骤3、将提取到的手写诗词文本特征图输入基于FPN的手写诗词检测网络进行融合，得到手写诗词文本的单字符高斯热力图，进而经过多字符文本框链接算法得到景区手写诗词图像的文本区域位置信息；步骤4、根据提取到的文本图像位置信息对景区手写诗词图像进行区域裁剪，并依次将裁剪区域输入基于ACE的手写诗词识别网络进行手写诗词文本的Encoder-Decoder处理，得到景区手写诗词图像的识别结果；步骤5、将景区手写诗词图像的相关属性信息输入到景区知识图谱中经过图搜索得到搜索知识结果集，利用步骤4得到的识别结果与搜索知识结果集通过景区手写诗词匹配算法，得出最终的景区手写诗词图像的文本识别结果；具体如下：1基于FPN的景区手写诗词的检测技术一共分为3个部分，分别为：手写诗词空间特征提取网络、字符关键点标定算法以及多字符文本框链接算法；首先将景区手写诗词图像输入到手写诗词空间特征提取网络对手写诗词文本特征进行提取；然后将提取到的诗词文本特征通过字符关键点标定算法对单字符关键点进行标记；最后将标记好的单字符关键点经过多字符文本框链接算法处理后得出景区手写诗词文本区域坐标信息，将该信息作为输入传递给景区手写诗词图像文本字符识别模块；其详细描述如下：通过VGG16对景区手写诗词图像进行特征提取，得到景区手写诗词图像的诗词文本特征图，多特征模块融合的骨干网络使用的是特征金字塔网络；采用了7层金字塔网络，层与层之间相互连接，促进特征复用；在的金字塔网络中，利用一个自下而上的路径和一个自上而下的路径水平配对进行数据传输；1自下而上通路：是指数据的向上流动；每层均包含卷积层、池化层、激活函数层以及循环层；该通路得到7个多尺度特征图，标记为{c1,c2,c3,c4,c5,c6,c7}，不同特征图记录不同层次的文字特征，低层特征反映较浅层次的诗词文字特征边界，高层特征则反映较深层次的诗词文字特征；2自上而下通路：是指数据的向下流动，通过对特征图进行上采样，前面几层的输出作为当前层的输入，同时，增加可变形卷积模块Def-Incept，提取部分变形文本的特征，然后生成多层特征图{p1,p2,p3,p4,p5,p6,p7}，最后对特征图进行一次卷积运算，减少了参数数量，消除了变形带来的混杂效应；以下公式1展示了特征提取的过程； 式中，Conv表示卷积操作，表示特征融合，UpSample表示上采样操作，Def-Incept表示可变形卷积操作；将本操作的输出信息通过高斯核函数处理，得到图像文本的字符关键节点的高斯热力图；多字符文本框链接算法是将得到图像文本的字符关键节点的高斯热力图作为前提条件，通过计算字符关键节点之间的链接关系得出最终的景区手写诗词图像文本检测框；以下将对多字符文本框链接算法的计算过程进行详细介绍；首先，通过对景区手写诗词图像文本中的每个字符通过字符关键点高斯热力图进行分析计算，得出每个字符的高斯热力图的最大直径，以最大直径为边长画出正方形框，用来标记单个字符的文本框位置；其次，选取单字符文本框的对角线长度的一半作为向外辐射圆的半径r的初始值，并根据输入图像的最大边长设定半径r的最大值max；然后，以步长为的幅度不断增大辐射圆的半径，在用户输入的文字方向进行探索，若遇到另一个字符文本框则停止，并将本字符文本框与相遇文本框的中心进行链接；若半径r达到最大值则表示文本框链接结束；最后，将链接起来的文本框进行整合，得出最终的景区手写诗词图像文本检测区域位置结果；2基于ACE的景区手写诗词的识别方法通过使用景区手写诗词的文本识别网络中，首先将景区手写诗词文本检测得到的局部文本区域经过图像归一化处理，使数据更加规范；然后将处理后的图像数据输入到手写诗词字符特征提取网络对诗词文本特征进行序列化编码；最后将诗词文本特征序列化后的编码通过字符识别器进行解码得到初步的景区手写诗词文本识别结果；其详细描述如下：对景区手写诗词文本图像进行归一化处理后，将针对处理后的文本图像进行字符特征提取，将以卷积循环神经网络CRNN为主干网络对景区手写诗词图像文本进行特征提取，该字符特征提取网络结构主要由卷积层和循环网络层两部分构成；首先，将归一化处理之后的诗词文本图像输入到卷积层，提取到图像的卷积特征图；然后，将提取到的卷积特征图输入到循环网络层，用于在卷积特征的基础上继续提取文字序列特征，将提取到的特征进行输出；将采用聚合交叉熵ACE算法对景区手写诗词图像文本的特征序列进行解码，在模型训练的初始阶段，将增益系数设置为1；在之后的训练阶段，则将增益系数设置为该图像中文本的字符个数；3基于知识图谱的诗词矫正技术针对用户查询诗词描述信息作为搜索条件，利用景区知识图谱进行图搜索，得到搜索结果集C；其次，将搜索结果集C与景区手写诗词文本图像的初步识别结果x通过分词算法f·进行分词后，将得到的搜索结果集关键词矩阵Sn×m以及景区手写诗词文本图像初步识别结果矩阵E1×m，其中n表示搜索结果集中的实体数量，m表示处理后的关键字数量，k表示搜索结果集中实体的索引位置，f·表示对文本进行分词的分词函数，C[k]表示搜索结果集中的单个文本，x表示景区手写诗词文本图像的初步识别结果；其计算公式如2与3所示；Sk×m＝fC[k]2E1×m＝fx3然后，利用产生词向量的分布模型对前文所得到的矩阵中的实体关键字进行计算；其每个实体关键字向量ve的计算公式如4所示，其中e表示矩阵中的单个样本，g·表示产生词向量的分布模型函数，i表示实体关键字的索引位置，Sn×m[e]表示搜索结果集关键词矩阵中单个样本数据，Sn×m[e][i]表示逐步取搜索结果集关键词矩阵中单个样本的实体关键字数据； 将得到的诗词文本的向量ve经过归一化处理后，得到诗词文本的最终文本向量v，将n个文本向量进行组合生成搜索结果向量集V；其计算公式如5所示； 将景区手写诗词文本图像初步识别结果也经过上述处理后，得到最终的景区手写诗词文本图像初步识别结果向量q；最后，利用景区手写诗词文本图像初步识别结果向量q与搜索结果向量集V中每个实体的文本向量v通过VSM进行计算两个诗词文本向量的相似程度，取景区手写诗词文本图像初步识别结果向量q与搜索结果向量集V中相似度最高的诗词文本向量，其对应的搜索结果集C中的文本Result进行输出，作为景区手写诗词图像文本识别结果；其计算公式如6和7所示，其中VSM·表示向量空间模型计算函数，j表示单个搜索结果向量的索引位置,s1和s2为两个文本，其单词频率分别用at和bt表示,t表示文本单词频率的索引位置； 利用知识推理方法获取与检索结果Result知识节点关系为“关联”的知识节点，三元组表示法可描述为？，关联，Result，通过知识推理与计算得到相关诗词知识节点信息，实现知识推荐服务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100124 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。