买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：沈阳康泰电子科技股份有限公司

摘要：本申请涉及多模态数据处理技术领域，具体涉及一种多模态情感识别方法及系统，该方法包括：采集目标对象的音频信号、视频数据以及生理信号，分别基于各时间段内音频信号和生理信号的变化情况，确定各时间段的外在情绪波动值和内在情绪波动值，根据各时间段外在情绪波动值与内在情绪波动值之间的相关性，以及外在情绪波动值与内在情绪波动值的差异，确定各时间段的内外情绪关联度；基于各时间的内外情绪关联度的差异确定各时间段的情感真实度，以筛选有效时间段，根据有效时间段内的多模态数据对目标对象的情感进行识别。本申请可提高对非生理信号数据中情感信息提取的准确性，避免对目标对象情感状态识别结果的影响。

主权项：1.一种多模态情感识别方法，其特征在于，包括以下步骤：采集目标对象的多模态数据包括音频信号、视频数据以及生理信号；基于各时间段内音频信号的变化情况以及生理信号的变化情况，分别确定各时间段的外在情绪波动值、内在情绪波动值；以各时间段为中心获取各时间段的多个近邻时间段，根据各时间段的所述多个近邻时间段的外在情绪波动值与内在情绪波动值之间的相关性，以及所述多个近邻时间段的外在情绪波动值的最大值与内在情绪波动值的最大值之间的差异，确定各时间段的内外情绪关联度；基于各时间段的内外情绪关联度，以及各时间段与其多个近邻时间段的内外情绪关联度的差异，确定各时间段的情感真实度；基于各时间段的情感真实度对时间段进行筛选获取有效时间段，根据有效时间段内的音频信号、视频数据以及生理信号对目标对象的情感进行识别；所述各时间段的外在情绪波动值的计算公式为： ，式中，为时间段t的外在情绪波动值，为时间段t的语音信号序列的一阶差分序列的信息熵，为时间段t的语音信号序列内元素的数目，和分别为时间段t的语音信号序列内第i个、第i-1个元素值，其中，所述语音信号序列由时间段内所有采样时刻的语音信号强度组成；各时间段的所述内在情绪波动值的计算公式为： ，式中，为时间段t的内在情绪波动值，为时间段t的生理信号序列的一阶差分序列的信息熵，m为时间段t的生理信号序列内元素的数目，和分别为时间段t的生理信号序列内第j个、第j-1个元素值，其中，所述生理信号序列由时间段内所有采样时刻的生理信号强度组成；所述各时间段的内外情绪关联度对应计算公式为： ，式中，为时间段t的内外情绪关联度，为时间段t的外在情绪变化序列和内在情绪变化序列之间的协方差，和分别为时间段t的外在情绪变化序列、内在情绪变化序列内的最大值，为避免分母为零的预设数值；所述外在情绪变化序列和内在情绪变化序列的构建过程为：将各时间段及其多个近邻时间段的外在情绪波动值按照采样时间升序组成各时间段的外在情绪变化序列，相应地，针对内在情绪波动值，得到各时间段的内在情绪变化序列；所述各时间段的情感真实度的计算公式为：，式中，为时间段t的情感真实度，为以自然常数为底数的指数函数，为时间段t的情绪隐藏评估值，通过时间段t与其各近邻时间段的内外情绪关联度之间的差异获取；所述时间段t的情绪隐藏评估值的计算公式为： ，式中，为时间段t的情绪隐藏评估值，为时间段t的近邻时间段的数目，为时间段t的第k个近邻时间段的内外情绪关联度；有效时间段的获取包括：对所有时间段的情感真实度进行阈值分割，将高于阈值的情感真实度所对应的时间段作为有效时间段；所述对目标对象的情感进行识别进一步包括：获取所有有效时间段的音频信号、视频数据以及生理信号，并分别进行重采样，得到语音信号序列、帧图像序列以及生理信号序列，结合分类识别神经网络模型，对目标对象的情感类型进行识别。

全文数据：

权利要求：

百度查询： 沈阳康泰电子科技股份有限公司 一种多模态情感识别方法及系统