买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平顶山学院

摘要：本发明公开了一种基于注意力机制的情绪面孔及生理反应识别方法，该方法包括以下步骤：采集测试儿童的面部表情数据、眼动数据及脑电数据，并检测该儿童的脑电采集设备是否正确佩戴；基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征；对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征；使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征；根据过滤后特征并使用分类器完成自闭症儿童识别任务。通过多源数据融合实现自闭症儿童智能化识别精准度的提升；减少患者家庭、社会的经济负担；提升医生诊断效率和诊断结果的精度。

主权项：1.一种基于注意力机制的情绪面孔及生理反应识别方法，其特征在于，该方法包括以下步骤：S1、利用预先配置的摄像机、眼动采集设备及脑电采集设备对测试儿童的面部表情数据、眼动数据及脑电数据进行采集，并检测该儿童的脑电采集设备是否正确佩戴；S2、基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征；S3、对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征；S4、使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征；S5、根据过滤后特征并使用分类器完成自闭症儿童识别任务；所述检测该儿童的脑电采集设备是否正确佩戴包括以下步骤：通过预先配置的摄像机实时采集儿童正面图像，作为检测使用；将采集的儿童正面图像输入训练好的人体关键点检测网络Openpose中，并检测得到儿童各个关键点的位置；将采集的儿童正面图像输入训练好的人体框检测模型及脑电采集设备检测模型YOLOV3中，并检测得到儿童身体框及脑电采集设备的位置；检测得到儿童的头部关键点位置，定位出儿童头部所在区域的中心点，且以儿童身体框中较短边作为边长形成矩形区域，并将该矩形区域作为儿童头部所在区域；根据检测得到的脑电采集设备的位置及儿童头部所在区域确定儿童是否正确佩戴脑电采集设备；若佩戴正确，则儿童继续进行数据采集，若佩戴不正确，则提示工作人员帮助儿童正确佩戴脑电采集设备；所述检测得到儿童的头部关键点位置，定位出儿童头部所在区域的中心点包括以下步骤：将儿童正面图像的大小转换为40×40×3，并输入至DCNN中的人脸关键精确定位网络结构中，且输入层的大小为n；通过儿童的人脸关键点预测值和真实值的欧式距离与儿童人脸大小的比值确定检测误差；其中，儿童人脸关键点中眼睛定位的计算公式为： 式中，lx和ly分别表示坐标空间内儿童眼睛边框矩形顶角对应的位置信息；xi和xj分别为第i个和第j个关键点的横坐标；ym和yn分别为第m个和第n个关键点的纵坐标；儿童人脸关键点中嘴巴定位的计算公式为： 式中，xk为第k个关键点的横坐标；yi和yj分别为第i个和第j个关键点的纵坐标；根据眼睛和嘴巴位置的中心点作为儿童头部所在区域的中心点；所述根据检测得到的脑电采集设备的位置及儿童头部所在区域确定儿童是否正确佩戴脑电采集设备包括以下步骤：训练脑电采集设备的分类器；在儿童头部所在区域通过分类器确定是否正确佩戴脑电采集设备；其中，所述分类器采用卷积和全连接网络架构，且包含两个卷积层、一个池化层及两个全连接层；所述训练脑电采集设备的分类器时，获取脑电采集设备训练数据；所述获取脑电采集设备训练数据时，通过网络获取脑电采集设备和儿童相关的开源图片，且在真实环境中通过固定位置的摄像头采集训练图片，并利用YOLOV3提取环境区域作为儿童人体标签；按儿童头部所在区域是否佩戴脑电采集设备作为正训练样本及负训练样本，保存；所述基于上下文感知特征提取技术对儿童面部表情数据、眼动数据及脑电数据进行提取，并获得面部表情上下文特征、眼动上下文特征及脑电上下文特征包括以下步骤：按照每秒30帧的频率提取儿童面部表情数据、眼动数据及脑电数据，且得到面部表情数据、眼动数据及脑电数据相同长度的特征序列；使用卷积神经网络对卷积核窗口内的特征进行压缩，并通过最大池化层和一个全连接层得到面部表情数据、眼动数据及脑电数据的特征表示；将各个特征序列输入各数据源独立的子任务级LSTM，学习上下文信息，得到面部表情数据、眼动数据及脑电数据的上下文特征；所述对面部表情特征、眼动特征及脑电特征进行交互特征融合，得到融合特征包括以下步骤：将面部表情特征、眼动特征及脑电特征进行两两组合，并在两个组合中设置一个主输入和一个辅助输入；将主输入和辅助输入投影到同一个共享向量空间中，并将主输入和辅助输入在全连接层进行拼接，得到融合特征；所述使用门控卷积机制对融合特征进行冗余信息过滤，得到过滤后特征包括以下步骤：使用一维卷积核对获取局部特征，且每个内核对应一个特征检测器，并通过特征检测器提取特定模式的活动局部特征；每个卷积核对中包含两个内核，第一个内核进行转换信息，完成信息表示，另一个内核对应一个门控，用于控制第一个内核的结果流向最终表示的比例；设定两个内核的权值为Ga和Gb，且利用tanh激活函数处理Ga对应的卷积核，将其接受域的r列映射为特征a，同时利用sigmoid激活函数处理Gb对应的卷积核，将其r列映射为特征b；a与b的乘积表示过滤后特征。

全文数据：

权利要求：

百度查询： 平顶山学院 一种基于注意力机制的情绪面孔及生理反应识别方法