买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种零样本中文单字识别方法、系统、装置及存储介质，其中方法包括：提取中文单字图像的视觉特征；对中文单字类别进行可学习的类别编码，对中文单字的部件结构进行分解，并计算得到可学习的类别编码；将所述中文单字的类别编码映射到视觉空间中，通过重构损失函数来约束类别编码在映射前后的语义一致性；通过基于transformer的解码器，匹配中文单字的类别编码和图像的视觉特征，从图像的视觉特征上获取与类别编码相关的特征，最终解码输出中文单字的识别结果。本发明通过可学习的类别编码方法，实现了零样本的中文单字识别，解决了现有中文单字识别方法依赖于大量有标注数据的问题。本发明可广泛应用于模式识别与人工智能技术领域。

主权项：1.一种零样本中文单字识别方法，其特征在于，包括以下步骤：提取中文单字图像的视觉特征；对中文单字类别进行可学习的类别编码，采用深度优先搜索的算法，对中文单字的部件结构进行分解，并计算得到可学习的类别编码；将所述中文单字的类别编码映射到视觉空间中，基于全连接层的映射模块，使得中文单字的类别编码的维度等于视觉空间的维度，并通过重构损失函数来约束类别编码在映射前后的语义一致性；通过基于transformer的解码器，匹配中文单字的类别编码和图像的视觉特征，从图像的视觉特征上获取与类别编码相关的特征，最终解码输出中文单字的识别结果；所述对中文单字类别进行可学习的类别编码，采用深度优先搜索的算法，对中文单字的部件结构进行分解，并计算得到可学习的类别编码，包括：根据中文的表意文字序列词典，通过深度优先搜索算法得到分解后的中文单字的部件序列，所述部件序列表示为树的数据结构，得到每个部件的深度信息和相对位置信息；其中，深度信息表示的是部件在树中的深度，相对位置信息表示的是部件相对其父结点的位置；计算得到每个中文单字相应的可学习的类别编码，计算过程表示如式1所示： 其中，i表示部件序列R中的一个部件，li表示的是该部件的深度信息，γi表示的是该部件的相对位置信息，α和β是可学习的参数，yi为部件的one-hot编码；将计算获得的可学习的类别编码与每个部件的深度信息以及相对位置信息，在维度上进行拼接，得到最终的可学习的类别编码，计算过程表示如式2所示： 其中，和表示的是归一化后的深度信息和相对位置信息，表示的是拼接操作；所述基于全连接层的映射模块由一个全连接层构成；所述全连接层的输出元素都是输入元素经过线性运算得到；所述全连接层将中文单字的类别编码映射到视觉空间中，用于使类别编码的维度等于所述视觉空间的维度。

全文数据：

权利要求：

百度查询： 华南理工大学 一种零样本中文单字识别方法、系统、装置及存储介质