买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于面部关键点与特征预学习的脑卒中辅助评估系统。本发明包括数据采集模块、关键点定位模型训练模块、特征预学习模型训练模块和快速诊断评估模型构建模块。本发明首先利用在公开的大数据量的面瘫数据集中进行特征预学习，随后在脑卒中小样本数据集上进行针对性的特征学习从而获取具有高刻画度的脑卒中面部变化图像特征，其次采用面部多关键点定位算法对脑卒中面部区域进行分割定位，分割出眼部、嘴部区域，将得到的眼部以及嘴部区域送入卷积神经网络进行特征提取，最后对不同区域的特征进行分类，最终得到脑卒中面部评估量化标准。本发明能快速、简单、精确的对脑卒中进行辅助检测与康复评估，为医生提供客观、科学的诊断依据。

主权项：1.一种基于面部关键点与特征预学习的脑卒中辅助评估系统，其特征在于包括数据采集模块、关键点定位模型训练模块、特征预学习模型训练模块和快速诊断评估模型构建模块；数据采集模块：采集脑卒中患者面部图像，构建数据集；搜索公开的面瘫患者面部图像标准数据集以及人脸关键点数据集；关键点定位模型训练模块：采用公开人脸关键点数据集，进行基于深度卷积神经网络的关键点定位模型训练；特征预学习模型训练模块：采用公开面瘫数据集，基于已经训练好的定位模型得到人脸关键点，从而基于人脸关键点将面部区域分割出RegionOfInterest区域；随后使用卷积神经网络作为特征提取器，以面部面瘫的三种严重程度：正常、轻中度、重度程度作为分类目标，从而完成特征预学习模型的训练；快速诊断评估模型构建模块：采用脑卒中患者面部图像数据集，利用训练完成的关键点定位模型与特征预学习模型，构建脑卒中患者的快速诊断评估模型；数据采集模块具体实现如下：首先收集公开面瘫数据集，针对其数据分布不均衡问题，需要对面瘫数据集进行数据增强，对原始数据集进行了图像旋转，图像旋转的基本原理是原图像与仿射变换矩阵相乘，其中仿射变换矩阵M′的表达式为： α＝scale·cosangle2β＝scale·sinangle3其中centerx,centery表示旋转中心，angle代表旋转角度，scale代表旋转后图像的缩放比，通过仿射变换矩阵与原图像相乘得到增强后的图像；关键点定位模型训练模块具体实现如下：采用公开人脸关键点数据集，以人脸关键点图像W＝{w1,w2,w3,...,wn}作为输入，训练基于卷积神经网络的人脸关键点定位模型，其中人脸关键点定位模型包含“特征提取层”、“损失函数层”、“网络输出层”3个部分；特征提取层中采用标准卷积、反转残差块，反转残差块采取了先扩张，再提取特征，最后再压缩的策略；在特征提取层还引入由标准卷积构成的辅助卷积神经网络，用于对每一个输入的人脸关键点图像的三维欧拉角进行估计；特征提取层经过卷积、激活、数据归一化三个步骤完成人脸关键点特征提取，其表达式为：Y＝fW'X+B4 其中，W′为隐藏层权重矩阵，B为隐藏层偏置矩阵，f为激活函数，最后在激活函数之后接入数据归一化层，其表达式为： 其中，x′为需要归一化的输入数据，meanx′和varx′分别表示数据的均值和方差，eps为防止分母出现零所增加的变量；γ和β′分别为缩放和平移变量，加入缩放和平移变量的原因是保证每次得到的归一化的值都符合标准正态分布；损失函数层中的人脸关键点训练建立如下损失函数： 其中M表示一个批次训练的图片数，N表示每张面部图像预先设定的待检测人脸关键点数量，γn表示权重，包含几何约束和数据不平衡约束，衡量第m张输入图片的第n个预测的人脸关键点实际的人脸关键点的距离，损失函数值越小，表示关键点定位准确率越高；将γn替换成辅助网络的参数得到最终的损失函数表达式： 其中K表示偏航角yaw、俯仰角pitch、翻滚角roll三个自由度的方向，表示在上述3个自由度方向上，真实值与预测值角度的偏差，当角度变大时损失值也越大，表示脸部姿势的类型，包括正脸、侧脸、抬头、低头、带有表情、遮挡；网络输出层输出为位于人脸面部区域的若干个人脸关键点位置，利用这些人脸关键点位置，能够定位出受脑卒中影响较大的嘴部、眼部区域；所述特征预学习模型训练模块具体实现如下：首先选取指定的区域分割点作为眼部以及嘴角的基准点，得到的区域类别分为以下6种：眼部中轻度、眼部重度、嘴部中轻度、嘴部重度、眼部正常、嘴部正常；对分割得到的区域采用标准卷积模块和反转残差模块组成的卷积神经网络进行特征预学习，得到n维特征向量X＝x1,x2,...,xn，特征向量经过全连接层降维到上述6种类别的维数，网络的训练目标是最小化交叉熵损失函数： 其中p＝[p1,...,pC]是一个概率分布，每个元素pc表示样本属于第c类别的概率，y＝[y1,...,yC]是样本标签的one-hot编码表示，当样本属于第c类别时yc＝1，否则yc＝0；所述快速诊断评估模型构建模块具体实现如下：使用得到的人脸关键点定位模型，对脑卒中数据集中的人脸患病区域进行分割，得到以下6种类别：眼部中轻度、眼部重度、嘴部中轻度、嘴部重度、眼部正常、嘴部正常；使用得到的特征预学习模型，基于脑卒中数据集对特征预学习模型的网络参数进行微调，使得该网络对脑卒中面部特征有更好的分类结果。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于面部关键点与特征预学习的脑卒中辅助评估系统