恭喜广州炫视智能科技有限公司吴振涛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜广州炫视智能科技有限公司申请的专利一种基于手势辨识的人机交互方法及其交互系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118247850B 。
龙图腾网通过国家知识产权局官网在2025-01-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410659664.2,技术领域涉及:G06V40/20;该发明授权一种基于手势辨识的人机交互方法及其交互系统是由吴振涛;王有星;何卉婷;吴章安;谢志文;李媛媛设计研发完成,并于2024-05-27向国家知识产权局提交的专利申请。
本一种基于手势辨识的人机交互方法及其交互系统在说明书摘要公布了:本发明涉及人机交互技术领域,具体地说,涉及一种基于手势辨识的人机交互方法及其交互系统,其包括以下步骤:采用RGB摄像头与深度传感器捕捉手势的二维图像数据和手势的深度数据,并基于二维图像数据和手势的深度数据构建点云数据;采用基于手部节点模型的关键点检测算法,在点云数据上识别并跟踪手部及各个手指的关键节点;基于手指节点坐标和时间序列变化,提取手势的动态手势特征;利用卷积神经网络对动态手势特征进行分类;定义手势与机器控制命令的映射规则,机器控制命令被传递给相应的应用程序,触发相应的功能。通过引入空间平滑性约束和时间连续性约束,来优化多帧点云数据的配准过程,减少跳跃或断裂现象。
本发明授权一种基于手势辨识的人机交互方法及其交互系统在权利要求书中公布了:1.一种基于手势辨识的人机交互方法,其特征在于,所述交互方法包括以下步骤:S1:采用RGB摄像头与深度传感器捕捉手势的二维图像数据和手势的深度数据,并基于二维图像数据和手势的深度数据构建点云数据;S2:采用基于手部节点模型的关键点检测算法,在点云数据上识别并跟踪手部及各个手指的关键节点,采用迭代最近点算法,优化模型手部的姿态,对手部节点模型的节点与连续的多帧点云数据进行配准,以捕捉手指节点坐标,其涉及的具体步骤为:采用迭代最近点算法,寻找最优的旋转矩阵R和平移向量T: 其中,M={m1,m2,…,mM};C={c1,c2,…,cC};式中,M表示手部节点模型的节点的点集;C表示点云数据点集;NNm,C表示点云数据集中与模型节点m最近的点;||·||表示欧几里得距离;对于连续的多帧点云数据,在时间序列上连续执行迭代最近点算法,通过引入空间平滑性约束和时间连续性约束,来优化多帧点云数据的配准过程,则多帧点云数据的对齐的表达式为: 式中,{Rt,Tt}表示第t帧的手部节点模型姿态;Rt表示在时间戳为t的帧中,手部模型相对于世界坐标系的旋转矩阵;T为总帧数,表示整个序列中考虑的帧的数量,从第一帧到最后一帧;Tt表示在时间戳为t的帧中,手部模型相对于世界坐标系的平移向量;Pn表示模型点云中的第n个点;N为索引变量,表示点云中的总点数;n为点的索引;ρ表示鲁棒核函数;Π表示投影函数;表示第n个模型点在第t帧的观测;λtemporal表示控制时间连续性的权重因子;λspatial表示运动平滑度的权重因子;表示旋转矩阵在特殊欧式群SO3上的范数;S3:基于手指节点坐标和时间序列变化,提取手势的动态手势特征,通过点云数据构建手势轮廓,提取形状特征向量;提取手势的动态手势特征的具体步骤为:S3.1:基于步骤S2中已获取了连续帧中手指节点的三维坐标,坐标序列随着手势动态变化,形成时间序列数据;S3.2:对于每根手指,计算相邻关节节点间的角度,并分析这些角度随时间的变化率;S3.3:通过分析不同手指节点间的距离随时间的变化,捕捉手指展开或闭合的速度与模式;对于第I根手指和第k根手指的指尖节点,分别记为PINI,t和PkNk,t,NI是手指i的指尖节点索引;Nk是手指k的指尖节点索引;则第I根手指和第k根手指的指尖节点在时间t时刻的距离DIk,t为:DIk,t=|PINI,t-PkNk,t|;则手指节点间的距离变化率ΔDik,t为:ΔDIk,t=DIk,t-DIk,t-1;引入加权移动平均,并对距离变化率ΔDIk,t进行平滑处理: 其中:wτ_t=e_λτ_t;式中,wτ_t表示权重函数;λ表示正的衰减因子;ΔT为考虑的时间窗口大小;τ表示时间序列中的事件发生的时间;t表示当前时间点;S4:利用卷积神经网络对动态手势特征进行分类,模型将输入的特征与学习到的模式进行匹配,通过接收实时手势数据,以输出识别出用户当前做出的手势类别;S5:定义手势与机器控制命令的映射规则,机器控制命令被传递给相应的应用程序,触发相应的功能。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人广州炫视智能科技有限公司,其通讯地址为:510000 广东省广州市番禺区东环街东星路95号东星大厦708;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。