买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：一种面向眼部视频的基于时空特征图的高眼压判别方法，属于生理信号检测技术领域。在模型训练过程中通过眼部视频生成以虹膜和瞳孔作为感兴趣区域ROI的感兴趣区域提取模型IPNETP。基于远程光体积描记术Remotephotoplethysmography，rPPG提取眼部ROI的血容量脉搏波BVP信号，生成时空特征图并使用卷积神经网络训练，形成高眼压判别模型JOI‑Net。检测过程中用普通摄像头采集人眼视频，通过眨眼检测及IPNETP，提取其眼部ROI的BVP信号，并生成时空特征图送入高眼压判别模型JOI‑Net，以实现自动识别高眼压。

主权项：1.一种面向眼部视频的基于时空特征图的高眼压判别方法，其特征在于，包括以下步骤：一、构建基于语义分割网络的感兴趣区域提取模型；1构建用于训练ROI提取带有掩码的眼部特写图像数据集；首先，收集包含眼部特写的图像，从公开的图像数据库、医学图像资料库或者通过网络搜索获取；接下来，标注瞳孔和虹膜作为ROI，生成对应的掩码图像，掩码图像是二值图像，白色部分代表ROI，黑色部分代表其他区域；2训练用于提取ROI的模型IPNETP；眼部特写图像作为数据，掩码图像作为标签，在U2NETP网络上进行训练，得到ROI提取模型IPNETP；在测试图像上，IPNETP提取眼部图片ROI的dice系数，其中dice系数的计算公式如下； TP，FN，FP分别代表真阳性，假阴性，假阳性；训练数据集包括ROI图像及其对应的标签图像，这些图像首先通过缩放、随机裁剪和标准化进行预处理，输入模型后生成多个尺度的预测结果；训练过程中使用多尺度的二元交叉熵损失函数计算预测结果与真实标签之间的误差，并通过反向传播算法更新模型权重参数；具体训练参数包括1000个训练周期、训练批次大小为10、验证批次大小为1、学习率为0.001、Adam优化器参数β1＝0.9、β2＝0.999，以及权重衰减为0；IPNETP为经过1000个训练周期最后一次输出得到的模型；二、根据时空特征图训练高眼压分类模型JOI-Net；1构建用于非接触式眼压判别的眼部特写视频数据集；搭建了一个眼部特写视频数据集；数据采集方面使用眼睑接触式电子眼压计重复测量三次以获得平均值作为眼压的真实值；眼睛与摄像头的距离为5cm，视频录制的环境光照度保持在100-500lux；数据集中，采集到的眼压的范围为6mmHg至45mmHg；2提取视频中ROI的RGB三通道信号；将提取出ROI区域的掩膜逐帧对应到原始的眼部图片中，构成视频帧序列；接下来提取每一帧ROI的R、G、B三通道信号，并分别计算每个通道的平均值； Rst为每一帧初始的R通道信号生成的时序信号，Gst和Bst的计算方式同Rst；Rst、Gst和Bst作为初始的RGB信号用于后续的BVP信号的提取，t表示眼部视频的帧序列；3利用基于色度的方法消除运动伪影；首先从从RGB三个颜色通道建立两个正交的色度信号Xf和Yf如公式3和公式4所示，Xf＝3Rs-2Gs3Yf＝1.5Rs+Gs-1.5Bs4其中的Rs、Gs、Bs为通过RGB的值得到的时序信号Rst、Gst、Bst；公式5为对于α的定义，公式6表示的RGB三通道的线性组合信号S用以消除运动带来的影响； 其中，σx和σy分别为Xf和Yf的标准差，α为Xf和Yf的标准差之比，Xf和Yf为由公式2和公式3计算得到的两个正交的色度信号；信号S即是由RGB信号处理得到BVP信号的最终结果；4将处理后的BVP信号转换为时空特征图；对每个BVP信号分别采用滑动窗口处理以增加数据量，设定每个窗口的长度为150帧，窗口步长为10帧，由此信号S分割为Swin时空特征图的构建过程是将给定的时序信号转换为一个二维矩阵Z；首先，根据时序信号的长度，初始化一个大小为原信号长度一半的矩阵；然后，遍历矩阵中的每个元素，根据当前元素的位置，从时序信号中提取对应时间点的值填充进矩阵Z中，第j,k点的值如公式7所示； Swin为滑动窗口处理后的BVP信号，M为信号时序信号Swin的长度，因为滑动窗口长度设置为150帧，所以这里M取150；5通过时空特征图训练高眼压分类模型JOI-Net得到一组时空特征图后对正常眼压和高眼压分类后进行训练，读取数据集后调整图像大小为300x300，得到基于ResNet18训练得到的高眼压分类模型JOI-Net，使用ResNet18网络对时空特征图进行分类；模型中初始卷积层使用7x7的卷积核，步长为2；在初始卷积层后有一个3x3的最大池化层，步长为2；网络中间包含全局平均池化层；模型由8个残差块组成，每个残差块包含2个卷积层，每个卷积层后跟随BatchNormalization和ReLU激活函数，这些残差块通过SkipConnections将输入直接传递到输出，以解决深度网络中的梯度消失问题；训练过程中batchsize为16，训练的epoch数为14；模型在前7个epoch中学习率为0.0001，后7个epoch中学习率为0.00001；三、输入人眼视频并实现高眼压的判别；1使用IPNETP模型提取眼部ROI；从待检测的视频数据中逐帧提取眼部图像，使用眼部ROI提取模型IPNETP，对输入的视频逐帧处理，识别瞳孔和虹膜区域，生成每帧的ROI掩码，提取出ROI区域的图像；2针对眨眼进行检测滤除眨眼帧；3对ROI掩码的长度和宽度进行计算，掩码长度与宽度的比值大于5，则判定当前帧为眨眼状态，并舍弃当前帧，定义In为视频经处理后生成的掩码序列，Iblink为眨眼帧，L和W分别代表掩码区域的长和宽，n为所有帧的总数，I代表最后保留的帧序列； I＝In-Iblink104提取BVP信号并生成时空特征图；滤除眨眼帧之后，重复步骤二，保留长度大于150的连续帧序列，并逐帧获取ROI的RGB三通道信号均值，生成初始RGB信号；消除运动伪影，提取出最终的BVP信号，在BVP信号应用滑动窗口并转换为时空特征图；4使用JOI-Net模型实现对高眼压的检测；使用JOI-Net模型对由眼部视频生成的时空特征图进行分类，判别是否存在高眼压，并输出高眼压检测结果。

全文数据：

权利要求：

百度查询： 北京工业大学 一种面向眼部视频的基于时空特征图的高眼压判别方法