买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学

摘要：本发明公开了基于SSVEP‑MI和脸部关键点检测融合的机器手控制方法，涉及机器手控制领域，本发明通过使用目标检测模型进行可抓取物体的检测，并在LED屏幕上根据物品区域叠加闪烁，脑机接口采集用户的稳态视觉诱发（SSVEP）信号；通过对采集的SSVEP信号进行预处理和分类，识别出用户关注的对象；并通过基于图像的抓取位姿算法计算相应的机器手抓取姿态，实现物品的自动抓取；本发明综合利用了SSVEP‑MI和脸部关键点检测，根据不同的物体采用不同的抓取姿态提高抓取的可靠性，采用多种范式融合有效解决了传统脑控机器手控制模式单一，抓取效率低下的问题，弥补了现有实际应用技术的不足，本发明主要应用于基于SSVEP‑MI和脸部动作的脑控机器手控制方法中。

主权项：1.基于SSVEP-MI和脸部关键点检测的机器手控制方法，其特征在于：该控制方法包括如下步骤：S1、机器手识别物体：目标检测算法进行识别可抓取物品，对物品区域叠加闪烁，即对识别的具体物品区域叠加不同频率的闪烁，从而构成SSVEP刺激范式设计；S2、通过LED显示呈现给用户，脑机接口采集用户产生的SSVEP信号，信号预处理模块与抓取物品选择模块接收SSVEP信号并进行分类，根据分类结果实施灵巧抓取，机械手自动执行抓取策略；S3、机器手移动控制：脑机接口采集用户的MI信号，特征处理模块对采集的信号进行特征提取和特征选择，将完成的结果送到信号分类模块进行分类，根据信号分类的结果制定移动控制命令控制机器手系统的移动；S4、脸部动作控制抓取：由摄像头采集用户的用户脸部样本，根据基于ASM的脸部模型匹配方法先构建形状向量，再用进行训练集对齐，匹配结束后即可实现EARLAR算法，并传递到系统锁定抓取模块中执行锁定抓取命令，实现脸部动作控制机器手的操作；EAR是左右眼纵横比的平均值，LAR是嘴唇的宽度和高度的纵横比；S5、EAR算法通过眨眼动作进行EAR值的计算，将计算好的EAR值传递到系统锁定模块控制机器手系统的锁定解锁和关闭；LAR算法通过唇部动作进行LAR值以及相关变量的计算，将计算好的数据传递到系统抓取模块，控制机器手系统进行抓取和释放的操作；所述SSVEP刺激范式设计使用目标检测算法中的目标检测模型OWL-VIT来检测和跟踪具体物品，通过接收图像和具体物品描述，并输出具体物品的分割遮罩，对识别的具体物品通过LED显示叠加不同SSVEP刺激范式，并让用户专注于具体物品8到10秒钟，通过信号预处理模块进行带通滤波、小波变换和抓取物品选择进行RLS-CCA分类，识别出正在关注的具体物品，根据不同的物品制定不同的抓取策略；信号分类模块先采用递归最小二乘RLS方法提取自发脑电信号与SSVEP之间的差异，通过提取这一诱发特征，增强SSVEP特征，再使用改进后的CCA-RLS方法应用在特征处理当中，具体过程为观察固定输入信号的自适应系数的输出误差信号在一段时间内的平均功率，将最小平均功率作为评判自适应系统是否最优的标准，公式如下： ，公式表示递归最小二乘法中权重向量W的更新规则，Wnewn表示是第n次迭代后的权重向量，Woldn-1表示是上一次迭代的权重向量deltaWn表示是根据误差信号调整的修正项； ， Jn是平均功率误差，表示期望获得的纯净SSVEP信号与滤波后输出的误差的平方的期望，dn:枕区含噪信号，即预期响应，un:非枕区信号，是自发脑电信号，εn:输出误差信号，即期望信号与实际输出信号之间的差异，W是滤波权值向量的最小二乘估计。

全文数据：

权利要求：

百度查询： 安徽大学 基于SSVEP-MI和脸部关键点检测融合的机器手控制方法