买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：本发明涉及一种基于机器视觉的聋哑人手语识别语音输出方法，用于精确识别并匹配释义聋哑人手语，并转化为语音进行输出，解决手语翻译困难的问题，具体内容包括手语数据采集与预处理，基于FasterR‑CNN的手语识别及匹配模型的设计构建与训练，以及将手语手势语义信息转化为声音进行输出；本方法减小了数据计算量，与传统的手势识别方法依靠肤色信息与单张图想进行标注的方式，创新性地提出依靠骨骼点组合进行手语识别的方法，并利用掩膜层对处理过程进行了优化，提高了处理精度并减小了内存。此外，还提出了利用滤波器来处理帧间的点跳变，解决了识别错误的问题。比之以往方法，在精度、计算速度以及数据集简化程度上都有较大提高。

主权项：1.一种基于机器视觉的聋哑人手语识别语音输出方法，其特征在于：双目摄像头采集图像信息后，利用训练好的手语识别匹配模型对传入的手势图像信息进行手语翻译，得到对应语义文本信息；进一步利用开源AipSpeech语音库将该信息转换为语音进行输出，所述方法具体包含以下步骤：步骤1，采集数据并传输：双目摄像头获得操作者的手部图像数据，并将数据传输存储在内存单元中；步骤2，图像信息预处理：对传输的图像进行去噪，以及改变图像大小的操作，用于消除冗杂信息，减小内存占用量；步骤3，构建手语识别匹配模型的数据集：通过将所采集传输的图片进行汇总与数据增强，并对数据集进行骨骼点区域标定，按比例划分为训练集、交叉验证集及测试集；步骤4，手语识别匹配模型的设计构建与训练：手语识别匹配模型分为识别骨骼点与匹配手语动作两部分；所述的识别骨骼点部分用于对具体手部的骨骼点进行实例分割，具体采用FasterR-CNN，并在原有基础上进行了改进，其中FasterR-CNN包括依次串联的多个卷积池化层，卷积池化层之后分为两路，一路直接输出至全连接层，另一路经过RPN层输出至全连接层，改进之处在于，在原有的卷积池化层与RPN层之间加入第一层掩膜，在RPN层与全连接层之间加入第二层掩膜，第一层掩膜将识别到的骨骼点特征与背景之间进行分割，用于滤除背景部分；第二层掩膜用于进行候选特征框与框外部分的分割，利用掩膜滤除特征框外部分，获取识别结果；所述的匹配手语动作部分采用FasterR-CNN，并在原有基础上进行了改进，改进之处在于减少卷积池化层数量，删除RPN支路，卷积池化层之后依次为掩膜层、全连接层，将骨骼点间相对欧式距离作为特征信息，进行匹配处理；识别骨骼点与匹配手语动作两部分之间加入Savitzky-Golay滤波器，用于对识别到的骨骼点信息进行平滑处理，平滑处理后的骨骼点信息输入匹配手语动作的部分；利用步骤3构建的数据集对手语识别匹配模型进行训练；步骤5，利用训练完成的手语识别匹配模型进行聋哑人手语识别，将识别匹配得到的手语手势语义信息转化为声音进行输出，利用开源AipSpeech语音库，将重组得到的语句信息得以转化为声音进行输出。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于机器视觉的聋哑人手语识别语音输出方法