买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种基于大脑想象和眼动追踪的意念控制无人机方法及系统，提出用符合人类直觉的眼动模式和同步大脑想象的脑电信号来控制无人机飞行，同时还提供一个良好的操作与交互界面，界面上实时反馈无人机第一视角视频流，为操作员提供身临其境的无人机控制。本发明能够解放双手，极大地方便年老、身体不便、四肢瘫痪、或者患有其他运动障碍等疾病的人控制无人机。

主权项：1.一种基于大脑想象和眼动追踪的意念控制无人机方法，其特征在于，包括如下步骤：步骤1：训练个性化大脑想象解码模型；步骤1-1：采集自然状态；呈现注视点a1s，然后用户开始保持自然放松状态a2s,结束后根据用户状态选择接受或者拒接该轮采集；重复采集n轮，当n≥5时选择进入下一个状态的采集；步骤1-2：采集前进状态；呈现注视点a3s，然后用户开始想象双手向前推方块同时默念“前进”；结束后根据用户状态选择接受或者拒接该轮采集；重复采集n轮或者进入下一个状态的采集；步骤1-3：采集后退状态；呈现注视点a4s，然后用户开始想象双手向后拉方块同时默念“后退”；结束后根据用户状态选择接受或者拒接该轮采集；重复采集n轮或者进入下一个状态的采集；步骤1-4：采集结束；根据采集结果建立个体独立的想象样本库，利用模式识别算法训练样本库中的数据，得到针对个体的个性化分类模型，将其作为用户的配置文件；该配置文件用在后续的每一次无人机控制中；步骤2：电脑终端获取无人机实时返回的第一视角视频流，并基于第一视角视频流呈现符合控制直觉的操作界面；步骤3：眼动仪采集眼动信号，脑电设备采集脑电信号；眼动仪连接电脑终端，开启眼动仪，采集眼动信号；脑电设备连接电脑终端，采集脑电信号；步骤4：电脑终端获取眼动信号和脑电信号并分别做预处理；对于眼动信号，眼动信号处理模块首先订阅眼动仪采集的眼动信号，选用其中的眼动坐标，将眼动坐标归一化至0,1区间，0,0代表屏幕左上角，1,1代表屏幕右下角；然后采用滑动窗口机制，在指定时间间隔内对眼动信号进行缺失值填补、平滑；具体地，使用中心点坐标centerx，centery填补缺失值nanx，nany；滑动窗口机制使用均值平滑滤波器，用时间窗口内的坐标均值作为一个眼动特征，计算公式如下： 其中，t表示时间窗口内眼动注视点坐标总数，Ix表示眼动注视点横轴坐标，Iy表示眼动注视点纵轴坐标；眼动信号处理模块将预处理好的眼动坐标发送到终端控制模块；对于脑电信号，脑电信号处理模块首先获取脑电设备采集的脑电信号；然后在指定时间间隔内对脑电信号进行预处理；步骤5：将眼动特征和脑电特征解算为无人机控制命令；在终端控制模块，首先对眼动信号进行监测，在指定时间间隔内判断一次眼动坐标是否落于控制区域，如果落于控制区域，那么按照眼动坐标向无人机发送对应的控制命令，眼动坐标与无人机控制命令的对应关系如下：眼动坐标为0≤x≤0.1，0.1≤y≤0.9，无人机控制命令为向左；眼动坐标为0.9≤x≤1.0，0.1≤g≤0.9，无人机控制命令为向右；眼动坐标为0.1≤x≤0.9，0.9≤y≤1.0，无人机控制命令为向上；眼动坐标为0.1≤x≤0.9，0.0≤y≤0.1，无人机控制命令为向下；眼动坐标为其他，无人机控制命令为悬空；当眼动坐标在其他范围内时，终端控制模块切换到脑电信号监测模式；此时，终端控制模块从脑电信号处理模块提取指定时间步长的脑电特征，并加载用户配置文件，使用配置文件中训练好的模型识别用户当前的脑电特征与哪一种言语运动想象模式最匹配；选取最匹配的模式，并将其转为对应的无人机控制命令，具体如下：当大脑想象向前推的动作同时默念“前进”时，无人机控制命令为前进；当大脑想象向后拉的动作同时默念“后退”时，无人机控制命令为后退；当大脑想象为其他时，无人机控制命令为悬空；步骤6：终端控制模块通过无线网发送控制命令至无人机，控制无人机飞行。

全文数据：

权利要求：

百度查询： 西北工业大学 基于大脑想象和眼动追踪的意念控制无人机方法及系统