买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明提出了一种基于瞳孔偏移的眼动追踪方法及系统，涉及眼动追踪技术领域，具体方案包括：获取追踪开始时刻的近眼图像，通过图像识别技术，从近眼图像中识别初始瞳孔区域；在实时追踪过程中，以预设的第一时间间隔周期性获取事件数据，组成事件流数据，所述事件数据用于表征像素亮度变化；基于初始瞳孔区域，根据事件流数据中的像素亮度变化，计算瞳孔偏移，进而得到当前时刻的瞳孔区域；通过当前时刻的瞳孔区域，确定当前时刻的注视点坐标；本发明在保持较高准确性的同时保持运行的高效性，有利于在扩展现实设备上的应用。

主权项：1.一种基于瞳孔偏移的眼动追踪方法，其特征在于，包括：获取追踪开始时刻的近眼图像，通过图像识别技术，从近眼图像中识别初始瞳孔区域；在实时追踪过程中，以预设的第一时间间隔周期性获取事件数据，组成事件流数据，所述事件数据用于表征像素亮度变化；基于初始瞳孔区域，根据事件流数据中的像素亮度变化，计算瞳孔偏移，进而得到当前时刻的瞳孔区域；通过当前时刻的瞳孔区域，确定当前时刻的注视点坐标；在实时追踪过程中，以预设的第二时间间隔周期性获取近眼图像，得到当前时刻的瞳孔区域后，用满足时效性的近眼图像对当前时刻的瞳孔区域进行校正；其中，所述第二时间间隔大于第一时间间隔，所述满足时效性的近眼图像，是图像的获取时刻与当前时刻的时差不能超过阈值；所述基于初始瞳孔区域，根据事件流数据中的像素亮度变化，计算瞳孔偏移，进而得到当前时刻的瞳孔区域，包括：所述计算瞳孔偏移，进而得到当前时刻的瞳孔区域，具体为：基于初始瞳孔区域，迭代计算事件流数据中像素亮度变化导致的瞳孔偏移，得到不同时刻的瞳孔区域，从而得到当前时刻的瞳孔区域；所述瞳孔偏移的迭代计算，得到不同时刻的瞳孔区域，具体为：获取待计算时刻的前一时刻的瞳孔区域；使用前一时刻的瞳孔区域和待计算时刻前一段时间内的事件流数据，计算待计算时刻的瞳孔区域，具体为：S301：将事件数据按照前一时刻的瞳孔区域处理成稀疏的固定数量和大小的小事件块；在待计算时刻根据前一时刻的瞳孔区域，将待计算时刻之前一段时间内的事件数据处理成稀疏的固定数量和大小的小事件块，包括：（1）在前一时刻的瞳孔区域边缘上以弧度间隔均匀地采样个点；以这每个点为中心确定大小为的矩形区域；为时刻瞳孔中心的坐标，为时刻瞳孔长轴和短轴的长度，为时刻长轴的旋转角；（2）设在矩形区域，在时间段内有事件流产生，按照事件的坐标和极性将累积为事件块，用公式表示为： 其中，表示克罗内克积，为待计算时刻之前一段时间，所有个事件块中累积的事件总数为，为第个事件，表示事件的像素坐标，表示的极性，表示像素亮度增加，表示亮度降低；S302：当处理后的事件块内的事件数量满足更新条件时，输入给训练后的瞳孔跟踪网络，网络输出瞳孔偏移，将偏移加上前一时刻的瞳孔区域，得到待计算时刻的瞳孔区域，具体为：（1）判断处理得到的事件块是否满足瞳孔更新的条件；当小于第一设定阈值的情况下，大于第二设定阈值，表示事件块满足更新瞳孔参数的条件；（2）当条件满足时，将处理后的事件块输入瞳孔跟踪网络输出瞳孔从到的偏移，偏移被表示为：；（3）将偏移加上时刻的瞳孔区域，得到时刻的瞳孔区域；具体的，时刻的瞳孔区域，由如下公式得到： 其中，、分别为预定义的矩形锚框的宽和高，为时刻瞳孔中心的坐标，为时刻瞳孔长轴和短轴的长度，为时刻长轴的旋转角；所述瞳孔跟踪网络，包括：事件块之间共享的卷积神经网络、可学习的位置嵌入、Transformer编码器、平均池化层和全连接层。

全文数据：

权利要求：

百度查询： 山东大学 一种基于瞳孔偏移的眼动追踪方法及系统