申请/专利权人：中电万维信息技术有限责任公司

申请日：2021-11-02

公开（公告）日：2024-07-02

公开（公告）号：CN113920568B

主分类号：G06V40/10

分类号：G06V40/10;G06V40/16;G06V40/70;G06V20/40;G06V10/30;G06V10/774;G06V10/764;G06V10/82;G06N3/0442;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.07.02#授权;2022.01.28#实质审查的生效;2022.01.11#公开

摘要：本发明属于计算机视觉识别技术领域，特别是一种基于视频图像的人脸和人体姿态情绪识别方法。包括如下步骤：视频图像采集、视频帧序列、人脸检测、人体姿态检测、图像预处理、人脸情绪特征提取、人体姿态情绪特征提取、人脸情绪识别、人体姿态情绪识别、softmax分类层、加权平均、情绪类别等；实验证明本发明采用多模态情绪识别相比于单模态情绪识别具有明显优越性。本发明通过多轮实验证明，多模态情绪识别准确率高于单模态情绪识别准确率；对人脸特征赋予相对较大的权值而人体姿态特征赋予相对较小的权值，能得到相对较高的识别准确率，即人脸信息在情绪识别中起主导作用而人体姿态在情绪识别中起辅助作用。

主权项：1.一种基于视频图像的人脸和人体姿态情绪识别方法，其特征在于：包括如下步骤：视频图像采集、视频帧序列、人脸检测、人体姿态检测、图像预处理、人脸情绪特征提取、人体姿态情绪特征提取、人脸情绪识别、人体姿态情绪识别、softmax分类层、加权平均、情绪类别；视频图像采集采用摄像机或者手机等设备采集行人视频，并将连续行人视频转化为帧序列图像，对图像中非行人视频和不完整行人图像进行去除操作；人脸检测对视频帧序列中的行人图像按照人脸几何轮廓形状进行人脸检测；在人体姿态检测中对行人图像中的人体姿态进行检测，所述人体姿态包括头部倾斜角度、手臂摆动幅度和速度、腿部摆动幅度和速度；图像预处理通过光线补偿对图像进行增强，灰度变换用于减少计算量和存储空间，几何校正分别对人脸图像和姿态图像进行裁剪和校正，滤波锐化操作用于突出图像边缘细节特征和去除噪声影响；人脸特征提取通过ConvLSTM神经网络模型以人脸关键点和人脸关键部位为基础提取人脸情绪特征，所述关键点眉毛、眼睛、鼻子、嘴巴，关键部位额头部位、脸颊部位、眼袋部位、上下颚部位、嘴唇部位；人体姿态特征提取通过ConvLSTM神经网络模型以关键点为基础提取姿态情绪特征，所述人体姿态包括头部倾斜角度、手臂摆动幅度和速度、腿部摆动幅度和速度；softmax分类层对识别结果进行分类得到概率识别结果；加权平均对上述概率识别结果进行加权求平均值得到最终输出结果；对提取的人体姿态情绪特征通过调用预训练好的人体姿态情绪识别模型进行情绪识别，具体输入头部倾斜角度、手臂摆动幅度和速度、腿部摆动幅度和速度识别情绪；所述视频图像采集获取行人动态视频，并将动态视频转化为图像帧序列，在图像帧序列中剔除人脸不清晰和人体姿态不完整的图像，通过监控摄像头或手机采集行人视频，并对行人视频转化为帧序列，对帧序列中不包含行人信息和行人不完整的图像进行过滤操作。

全文数据：

权利要求：

百度查询： 中电万维信息技术有限责任公司 基于视频图像的人脸和人体姿态情绪识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD