买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开一种基于虚拟现实的无人机集群控制方法，涉及无人机控制领域，方法包括：用户佩戴头显设备进入虚拟环境；通过头显设备实时采集用户的初步手势图像及眼动数据；从初步手势图像中识别用户的手势动作；基于预先建立的映射表确定用户的手势动作对应的无人机控制指令；根据用户的眼动数据确定对应的无人机控制指令；基于用户的手势动作对应的无人机控制指令以及用户的眼动数据对应的无人机控制指令，控制无人机集群的飞行状态，并在虚拟环境中实时渲染无人机集群的飞行状态；其中，飞行状态包括无人机集群中每架无人机的位置、速度及方向。本发明在无人机集群控制的过程中具有交互性，降低了无人机集群控制的复杂度。

主权项：1.一种基于虚拟现实的无人机集群控制方法，其特征在于，所述基于虚拟现实的无人机集群控制方法包括：用户佩戴头显设备进入虚拟环境；所述头显设备上搭载有前置摄像头及深度传感器；通过所述头显设备实时采集用户的初步手势图像及用户的眼动数据；所述初步手势图像包括初步RGB图像及初步深度图像；从所述初步手势图像中识别用户的手势动作，具体包括：针对所述初步RGB图像中的任一像素点，采用公式，，调整所述像素点的每个颜色通道值，以得到预处理RGB图像；其中，R为所述初步RGB图像中所述像素点的红色通道值，G为所述初步RGB图像中所述像素点的绿色通道值，B为所述初步RGB图像中所述像素点的蓝色通道值，为预处理RGB图像中所述像素点的红色通道值，为预处理RGB图像中所述像素点的绿色通道值，为预处理RGB图像中所述像素点的蓝色通道值，为所述初步RGB图像中红色通道的平均值，为所述初步RGB图像中绿色通道的平均值，为所述初步RGB图像中蓝色通道的平均值；对所述预处理RGB图像进行高斯模糊处理，得到降噪RGB图像；针对所述初步深度图像中的任一像素点，采用公式将所述像素点的深度像素值转换为实际距离，得到预处理深度图像；其中，为所述像素点的深度像素值，为深度值的最小可能值，是深度传感器能够测量到的最近距离，为深度值的最大可能值，是深度传感器能够测量到的最远距离，为对应于时的实际距离最小值，为对应于时的实际距离最大值；将所述降噪RGB图像与所述预处理深度图像结合，得到最终手势图像；采用Canny边缘检测器对所述最终手势图像进行边缘检测，并提取手部轮廓，得到手部轮廓图像；采用卷积神经网络，根据所述手部轮廓图像，确定所述用户的手势动作；所述卷积神经网络为预先采用训练样本集进行训练得到的；所述训练样本集中包括多组手部轮廓样本图像及其对应的手势动作；基于预先建立的映射表确定所述用户的手势动作对应的无人机控制指令；所述映射表中包括多组键值对，每组键值对中的键表示手势动作，每组键值对中的值表示无人机控制指令；根据所述用户的眼动数据确定对应的无人机控制指令，具体包括：根据所述用户的眼动数据，提取所述用户的眼动特征；所述眼动数据包括注视、注视点的移动、眨眼及闭眼；所述眼动特征包括设定时段内的注视持续时间、注视点的变化量、注视点的移动路径、眨眼频率及闭眼持续时长；采用预先训练好的支持向量机，对所述用户的眼动特征进行分类，确定所述用户的眼动特征对应的无人机控制指令；基于所述用户的手势动作对应的无人机控制指令以及所述用户的眼动数据对应的无人机控制指令，控制无人机集群的飞行状态，并在所述虚拟环境中实时渲染所述无人机集群的飞行状态；所述飞行状态包括所述无人机集群中每架无人机的位置、速度及方向；基于所述用户的手势动作对应的无人机控制指令以及所述用户的眼动数据对应的无人机控制指令，控制无人机集群的飞行状态，具体包括：根据所述用户的手势动作对应的无人机控制指令以及所述用户的眼动数据对应的无人机控制指令，确定手势动作与眼动数据的优先级；在所述手势动作的优先级比所述眼动数据的优先级高时，基于所述用户的手势动作对应的无人机控制指令，采用领航者-跟随者算法控制无人机集群的飞行状态；在所述眼动数据的优先级比所述手势动作的优先级高时，基于所述用户的眼动数据对应的无人机控制指令，采用领航者-跟随者算法控制无人机集群的飞行状态；在所述手势动作的优先级与所述眼动数据的优先级相同时，基于所述用户的手势动作对应的无人机控制指令及所述用户的眼动数据对应的无人机控制指令，采用领航者-跟随者算法控制无人机集群的飞行状态；其中，预先在所述无人机集群中指定领航者，所述无人机集群中，除领航者以外的无人机均为跟随者；所述领航者直接响应所述无人机控制指令，所述跟随者跟随所述领航者调整位置、速度及方向。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于虚拟现实的无人机集群控制方法