买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：幻蝎科技(武汉)有限公司

摘要：本发明属于近眼显示设备应用技术领域，公开了一种基于MR眼镜的人眼视觉能力增强的方法、系统及设备，根据用户的视觉需求进入望远模式，通过设备的长焦摄像机拍摄用户视野前方远距离景象，对放大后注视区域的图像进行优化或和AI图像增强后向用户呈现，看清超出视觉能力范围的远处景象，增强用户遥望远处的视觉能力。利用光导光纤，或光波导，或潜望镜技术改进现有MR眼镜上的前置摄像头光学结构，使MR眼镜整体更加轻薄。本发明利用眼动追踪装置和头动追踪装置选定图像的对焦区域，通过眼动交互和或手势交互确定放大的倍率，MR眼镜显示器对拍照区域进行实时预览，最终拍摄照片。

主权项：1.一种基于MR眼镜的人眼视觉能力增强的方法，其特征在于，所述基于MR眼镜的人眼视觉能力增强的方法包括：步骤一，MR眼镜根据用户视觉需求主动发出的指令或者通过眼动追踪装置自动识别应用场景信息进入望远模式；步骤二，进入望远模式后驱动前置摄像头对眼动追踪组件捕获双眼视线的注视区域和或头动追踪模块识别中心点的景象进行对焦摄像；步骤三，对放大后注视区域的图像进行优化或和AI图像增强；步骤四，通过光引擎将步骤三增强的图像传送至光学元件显示器上显示，所述图像根据交互界面设计配合调整或者根据视觉需求发生的交互操作调整画面；步骤五,根据内置探测器检测用户视觉需求的使用状态进行模式的调整或用户主动操作随时退出和或拍照；步骤一中，所述用户视觉需求主动发出的指令打开应用程序的方法包括眼动交互、手势识别交互、外设控制器、有声无声语音识别、头动交互；所述眼动交互的方法包括：MR眼镜的眼动追踪装置捕获眼睛运动数据，检测眼睛的行为动作，计算眼睛的瞳孔大小、虹膜图像、眼跳轨迹以及注视时长，当注视时长超过一定时长或眨眼，则对某一功能UI位置进行点击确认指令，进而启动望远模式；所述手势识别交互的方法包括：MR眼镜的手势识别模块检测手部做出特定的动作手势识别装置接收到用户手部的运动信息，识别手部动作，与上、下、左、右滑动、放大、缩小、点击以及关闭控制选项相关联，进而控制系统进入望远模式；所述外设控制器的方法包括：通过操控设备的含有无线信号传输的移动控制器，握持按键式控制器、穿戴式手套以及指套控制器，向MR眼镜发射控制信号，通过操作交互界面，点击UI按钮进入望远模式，其中包括6DoF加速度传感器追踪技术和6DoF电磁追踪技术手柄；所述有声无声语音识别的方法包括：通过MR眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备进入望远模式；所述头动交互的方法包括：通过头动追踪装置选择交互界面的按钮，通过MR眼镜的加速度传感器、陀螺仪、磁力计计算用户头部的运动，在MR眼睛视野中央设置一个与头部相对位置固定的光标，移动头部控制光标选择位置与全息UI界面进行点击确认，进而启动望远模式；所述眼动交互的方法中，检测眼睛的行为动作的方法包括：通过眼动追踪装置捕获眼睛运动数据，检测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眨眼频率、单眼眨眼、眼脸闭合、视线、眼跳轨迹、注视时长，当注视时长超过一定时长或眨眼，则对某一功能的UI位置进行点击确认指令；所述眼动追踪装置的眼动追踪方法包括：1）通过接收眼睛反射红外光线，计算瞳孔中心与角膜中心的连线进行眼动追踪；硬件包括至少一个不可见红外光源、微型摄像头、反光热镜、光波导镜片；2）通过捕获眼睛图像或者计算视网膜的影像或者视网膜反射光的强度进行眼动追踪；硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光学导光元件，所述光学导光元件包括光波导镜片；3）通过发射结构光对眼睛创建模型，计算眼睛模型的视觉中心进行眼动追踪；结构光红外图案投影器将一定数量的不可见的光点投影到被测物体上，再根据红外相机接收到的反射光点，计算得到人眼深度图；RGB摄像头拍摄的2D人眼结合计算的深度人眼信息，经过算法处理就可以绘制出精确细致的3D目标物体；4）通过接收眼睛角膜的反射光线，计算角膜中心反射光的强度最大的时刻来进行眼动追踪；所述眼动追踪装置硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片，光波导镜片配置为靠近眼睛的一层或多层光波导进行眼睛图像的获取和传导，波导中的输入衍射耦合器将眼睛图像耦合，眼睛图像光线在光波导中传导，同时图像传感器配置在光波导输出衍射耦合器的光线出射端；所述手势识别交互的方法中，所述手势识别模块检测手部动作的方法包括：1）手势识别模块配置有图像获取单元、比对系统以及计算机，通过图像识别技术进行手势识别，图像获取单元用于捕获手部运动的图像，所述图像包括：某一连续时刻手部的姿势、运动的连续图像，通过比对系统预存的不同角度的手部动作图像，或者通过图像识别将手部手腕关节、指关节节点进行锚点，通过计算机处理成手势追踪的简化锚点信号，识别手部动作和形状，并与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；2）所述手势识别模块配置为结构光发射装置与接收装置以及处理器，并利用对手部建模的原理进行手势识别；结构光发射装置向手部发射人眼不可见结构光，接收装置接收手部反射结构光，处理器根据接收到的结构光对手部进行建模，匹配手部动作特征点，与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；3）所述手势识别模块配置为加速度传感器、无线发射与接收装置以及计算机，通过佩戴在手部腕关节、各处指关节的加速度传感器接收手部运动信号，手部运动时，加速度传感器接收到手部的运动信号，并通过无线发射至计算机进行识别，与上、下、左、右滑动、增强、缩小、点击、关闭控制选项相关联；手势识别中，手部运动自行设置匹配手势动作，包括修改手势匹配的指令以及收录新的动作指令；所述外设控制器的方法中，所述有声无声语音识别的方法包括：通过MR眼镜的有声或无声语音识别装置接收用户发出的有声或无声语音，并通过系统解析用户的语音指令，控制设备进入望远模式；所述语音识别装置用于有声语音识别或者无声语音识别；有声语音识别方法包括：MR眼镜靠近嘴部位置配置为语音收录单元，用于收录用户发出的语音，MR眼镜将语音转化成电信号，并进行除杂音处理，MR眼镜将处理后的语音电信号进行识别，转化成文本，获取有声指令；无声语音识别方法包括：MR眼镜靠近脸部位置配置为无声语音探测器，所述无声语音探测器用于检测用户脸部肌肉和发声肌肉的神经电信号，对于发出不同的词句信号，大脑发送神经递质信号传送至脸部肌肉和发声肌肉以控制发出语音指令，在产生与语音指令对应的神经递质和肌肉电信号，探测器检测并识别这些电信号转化成文本，获取无声语音指令；所述头动交互的方法中，所述根据用户视觉需求主动发出的指令识别应用场景需求信息的方法用于启动进入望远模式，还包括软件应用使用操作过程中的交互方式；并且在所述头动交互的方法中，通过眼动追踪模块检测眼睛对交互界面中的任意UI按钮做出对应确认点击操作。

全文数据：

权利要求：

百度查询： 幻蝎科技(武汉)有限公司 基于MR眼镜的人眼视觉能力增强的方法、系统及设备