买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：长春理工大学

摘要：本发明公开了基于面部视频非接触式测量的客舱舒适度识别系统及方法，属于深度学习技术领域。本发明的方法步骤包括：S100、进行面部帧序列提取，输入采集的面部视频，获取到面部帧序列；S200、进行rPPG信号特征提取，将获取的面部帧序列通过模块化技术提取到rPPG信号，再进行时间序列分析和频率转换计算得到若干个rPPG信号特征；S300、进行面部特征提取，将提取得到的面部关键帧序列，输入到时空注意力机制网络中，提取出若干个面部特征；S400、进行特征融合，将提取到的生理特征和面部特征通过全连接层进行维度调整，再进行拼接得到特征向量；S500、通过包含线性层的神经网络分类器进行舒适度识别。

主权项：1.基于面部视频非接触式测量的客舱舒适度识别方法，其特征在于：步骤包括：S100、进行面部帧序列提取，输入采集的面部视频，通过一种轻量级人脸检测网络获取到面部帧序列，所述轻量级人脸检测网络采用MobileNet和SSD网络共同构建；S200、进行rPPG信号特征提取，将获取的面部帧序列通过模块化技术提取到rPPG信号，所述通过模块化技术提取的内容包含归一化分割、动态ROI选取和RGB映射，再进行时间序列分析和频率转换计算得到若干个rPPG信号特征；S300、进行面部特征提取，通过帧差法进行选取，将提取得到的面部关键帧序列，输入到时空注意力机制网络中，通过捕获全局和局部时空信息增强面部特征提取，提取出若干个面部特征；S400、进行特征融合，将提取到的生理特征和面部特征通过全连接层进行维度调整，再进行拼接得到特征向量；S500、通过包含线性层的神经网络分类器进行舒适度识别；根据步骤S200，对包含面部特征点的面部帧序列采用模块化技术处理得到rPPG信号，rPPG模块化提取包含归一化分割、动态ROI选取和RGB映射；所述归一化分割通过插值将地标点集进行扩展，创建一个由若干个三角形组成的固定面网格，并将固定面网格的坐标固定为典型的正面；将检测到的面部中每个三角形映射到标准化形状中的对应三角形，规范化每一帧上的人脸，生成一个归一化的面部时空矩阵；所述动态ROI选取将归一化后的面部划分为若干个矩形区域组成的矩阵，其中矩形区域是ROI区域，包含人脸的时空表示，并且每个区域代表帧序列中的一个信号；接着计算每个局部和全局区域的统计参数，通过参数计算和分析，剔除不包含有价值信息的区域，动态选择出有效的ROI区域；所述RGB映射通过所述动态ROI选取得到若干个有效ROI区域，对所述ROI区域计算像素均值得到RGB信号，将每个所选区域的RGB信号在时域内相加获得最终的RGB信号；利用QR分解构建一个正交矩阵，所述正交矩阵包含线性不相关的分量，以恢复rPPG生理信号，最后通过滤波得到高信噪比的rPPG信号；将得到的高信噪比rPPG信号进行计算，在时域和频域中提取出MeanNN、RR、HRG、Skewness、ApEn、DFA、Sample、VLF、Total_Power，main_freq_component共十个特征；其中，MeanNN是所有NN间期长度的算术平均值，RR表示呼吸频率，HRG是心率的增量程度，Skewness是偏态系数，统计数据分布不对称性的量度，ApEn为近似熵，用于量化时间序列数据波动的规律性和不可预测性，DFA用于衡量时间序列的长程相关性，Sample是样本熵，VLF是HRV分析中心率功率谱在极低频率范围内的成分，Total_Power为总功率密度谱，main_freq_component是功率谱密度曲线中最大的频率点。

全文数据：

权利要求：

百度查询： 长春理工大学 基于面部视频非接触式测量的客舱舒适度识别系统及方法