买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明涉及人机交互、计算机视觉领域，特别涉及一种基于图形结构引导感知的跨模态手写文本识别方法，用户通过VR设备用手在空中书写英语单词，VR设备对其手势进行识别并对空中书写轨迹进行记录，对书写轨迹进行识别的过程包括：将采集的书写轨迹转换为基于骨架的几何图；构建基于时间卷积循环网络的轨迹编码器，利用该编码器从写轨迹中提取时空信息，得到书写轨迹的特征编码；构建基于金字塔图网络的图形编码器，利用该编码器从基于骨架的几何图中提取拓扑信息，得到几何图的特征编码；构建基于图形结构引导感知的跨模态解码器，将时空信息和拓扑信息作为多模态数据输入该解码器，该解码器识别得到字母序列；本发明在手写文本识别方面取得了较同时期的其他主流方法更为先进的性能。

主权项：1.一种基于图形结构引导感知的跨模态手写文本识别方法，其特征在于，用户通过VR设备用手在空中书写英语单词，VR设备对其手势进行识别并对空中书写轨迹进行记录，对书写轨迹进行识别的过程包括以下步骤：将采集的书写轨迹转换为基于骨架的几何图；构建基于时间卷积循环网络的轨迹编码器，利用该编码器从写轨迹中提取时空信息，得到书写轨迹的特征编码；构建基于金字塔图网络的图形编码器，利用该编码器从基于骨架的几何图中提取拓扑信息，得到几何图的特征编码；构建基于图形结构引导感知的跨模态解码器，将时空信息和拓扑信息作为多模态数据输入该解码器，该解码器识别得到字母序列，具体包括以下步骤：图递归单元根据前一个字符几何特征的图隐藏状态和前一个字符获取当前几何图的特征编码对应的解码状态；根据当前几何图的特征编码及其解码状态更新当前需要预测字符几何图的图隐藏状态；书写轨迹递归单元根据前一个字符书写轨迹的图隐藏状态、前一个字符几何特征的图隐藏状态和前一个字符获取当前书写轨迹的特征编码对应的解码状态；根据当前书写轨迹递的特征编码及其解码状态更新当前需要预测字符书写轨迹递的图隐藏状态；通过融合当前需要预测字符书写轨迹递的图隐藏状态、几何图的图隐藏状态计算当前待预测字符的概率，表示为： 其中，表示当前第l个字符yl的概率，表示已经预测的前l-1个字符，X表示书写轨迹，G表示基于骨架的几何图；W为权重矩阵，b为偏置参数；为当前第l个字符yl书写轨迹递的图隐藏状态；为当前第l个字符yl几何特征的图隐藏状态。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于图形结构引导感知的跨模态手写文本识别方法