买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：辽宁大学

摘要：本发明实现了一种融合头部姿态的三维眼球移动方向判断方法，该方法首先通过内置的IMU对实时图像进行修正，然后对修正后的图像进行处理得到人脸特征点，通过选取受头部姿态影响较小的面部特征点来计算头部姿态，并将眼球中心与内眼角映射到三维空间中，结合头部的不同姿态，通过眼球中心与内眼角在三维空间中的坐标变化对眼球的移动方向加以判断，解决了头部的姿态在二维平面中对眼球移动方向判断的影响。装置不仅通过内置的补光灯来提高图像的质量，从而提高图像处理结果的准确率，而且通过内置的IMU来纠正由于相机的摆放所带来的的图像倾斜问题给头部姿态的计算所带来的的误差。并且该装置可以无接触的运行在自然状态下对眼球的移动方向进行实时的记录，硬件要求低且部署简单，具有广泛的应用场景。

主权项：1.一种融合头部姿态的三维眼球移动方向判断方法，其特征在于：该方法包含以下步骤：步骤1：采集视频图像，通过IMU输出的俯仰角pitch，滚转角roll对图像进行修正，然后对人脸处理得到人脸特征点和眼球中心点在图像中的位置；步骤2：在步骤1获取到的人脸所有特征点中，选取受头部姿态变化影响较小的点，然后计算头部姿态特征，利用坐标变换将眼球中心点和内眼角转换为其在三维空间中对应的位置；步骤3：结合步骤2得到的位置和头部姿态特征，通过眼球中心点和内眼角在三维空间中坐标变化情况，对眼球移动方向进行判断，其中若是直视镜头的第一帧图像，则默认是正视，并将该距离作为标准值，作为后续帧图像中眼球移动方向的判断基准；在左转头时图像中的左眼会有遮挡，此时用右眼的计算结果代替左眼；在右转头时，图像中的右眼会有遮挡，此时用右眼的计算结果代替左眼；其余的头部姿态下，使用双眼同时计算，因为眼睛的移动是并行的，所以两者判断一致时结果为真，否则结果为假；计算眼球移动方向的方法为：设XaX1，Y1，Z1和，XbX2，Y2，Z2分别为眼球中心点和内眼角在头部刚体模型所在的世界坐标系下坐标；坐标差计算：px＝X1-X2；py＝Y1-Y2；其中，px为Xa和Xb在世界坐标系下Xw方向上的坐标差，py为Xa和Xb在世界坐标系下Yw方向上的坐标差；第一帧直视摄像头时为正常状态下计算的相对位置，设其为标准值，通过左右眼的px与标准值比较得出眼球的左右移动方向，py与标准值比较得出眼球的上下移动方向，结合Xw轴方向和Yw轴方向比较的结果，得出最终的眼球移动方向。

全文数据：

权利要求：

百度查询： 辽宁大学 一种融合头部姿态的三维眼球移动方向判断方法