首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种手语基本手形识别方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中国海洋大学

摘要:本发明提供了一种手语基本手形识别方法,方法包括:采集多帧手语基本手形图像,通过MediaPipe提取图像中手部关节点数据;根据提取关节点数据集计算手指关节角度和手指间角度数据;采用SVM方法建立分类模型;读取待识别的手语视频,通过MediaPipe对连续多帧手语图像中手部关节点进行提取;逐帧计算手指关节角度、手指间角度数据和手掌方向数据;将角度数据输入预先训练的SVM模型中,得到对应的手语基本手形和手形方向。本发明实例能够更准确地识别基本手形,理解手语动作,提高了基本手形识别的准确率。

主权项:1.一种手语基本手形识别方法,其特征在于,包括以下步骤二步骤1:采集多帧手语基本手形图像,通过MediaPipe提取图像中手部关节点数据;步骤2:根据提取关节点数据集计算手指关节角度和手指间角度数据,计算公式如下:其中:xi-1,yi-1是前一个关节点的坐标,xi,yi是当前关节点的坐标,xi+1,yi+1是下一个关节点的坐标。 其中:P1,P2是前一根手指的掌指关节和远端指间关节;Q1,Q2是后一根手指的掌指关节和远端指间关节;步骤3:建立分类模型,采用SVM方法建立分类模型;建模时,选出训练集和测试集,首先通过调用svm函数训练训练集,将建好的SVM模型保存到svm_model中,通过调用predict函数对测试集进行测试,计算SVM模型在测试集上的准确率precision;步骤4:读取待识别的手语视频,通过MediaPipe对连续多帧手语图像中手部关节点进行提取;步骤5:逐帧计算手指关节角度、手指间角度数据和手掌方向数据,以左手为例,手掌朝向分类规则如下:n=u×v=uyvz-uzvy,uzvx-uxvz,uxvy-uyvx,=nx,ny,nzmax_component=max|nx|,|ny|,|nz|当max_component=|nx|,且nx>0时,手掌向内;当max_component=|nx|,且nx≤0时,手掌向外;当max_component=|ny|,且ny0时,手掌向上;当max_component=|ny|,且ny≤0时,手掌向下;当max_component=|nz|,且nz>0时,手掌向前;当max_component=|nz|,且nz≤0时,手掌向后;其中:u=p1-po,v=p2-po,po为手腕关节,p1为手部食指掌指关节,p2为手部小指掌指关节;步骤6:将所述待识别的手掌关节角度数据输入训练的分类模型svm_model中,输出对应的手语基本手形和手形方向,所述识别结果为文本。

全文数据:

权利要求:

百度查询: 中国海洋大学 一种手语基本手形识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。