买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:安阳工学院
摘要:本发明提供一种基于深度学习的实时手语识别系统及装置,涉及视频识别技术领域。该基于深度学习的实时手语识别系统及装置,利用摄像头获取实时的手语RGB视频,将视频进行抽帧,把抽帧剩下的图像进行图像预处理,将处理后的数据输入Mediapipe网络进行关键点检测,之后将检测的关键点数据输入Transformer网络进行手语分类。该系统有实时性、识别率高等特点,能够实时检测人体关键点并进行手语识别,手语识别系统可以将手语动作转化为可理解的文字或语音信息,从而帮助聋哑人士与非手语用户进行无障碍的交流,具有广泛的应用前景,可部署在聋哑学校、商场、医院等地方辅助听障人士交流。
主权项:1.一种基于深度学习的实时手语识别系统及装置,包括图像采集的摄像头模块、数据处理分析的主机模块和展示手语识别结果的显示模块,其特征在于:所述摄像头将采集到的数据实时传到数据处理分析主机模块,经过数据预处理和神经网络模型推理后结果传输到显示模块,用户便可以获取手语视频的含义;其中,使用摄像头采集实时手语视频数据并抽取固定长度的帧数,利用Mediapipe网络模型对抽取到的视频帧进行人体骨骼关键点和面部关键点进行检测,将关键点数据输入Transformer的编码器网络,输出手语分类结果,将结果返回到手语识别系统。
全文数据:
权利要求:
百度查询: 安阳工学院 一种基于深度学习的实时手语识别系统及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。