买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜肇庆医学院申请的专利一种多模态心理健康预测方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118136256B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410359437.8，技术领域涉及：G16H50/30；该发明授权一种多模态心理健康预测方法及系统是由伍乙生;黄海平设计研发完成，并于2024-03-27向国家知识产权局提交的专利申请。

本一种多模态心理健康预测方法及系统在说明书摘要公布了：本发明提出基于一种多模态心理健康预测方法，所述方法包括：收集待测试的人员的多模态数据，并对所述多模态数据新进行预处理，得到训练集；其中，所述多模态数据包括语音数据、文本数据、表情图像数据和生理数据；对多模态数据进行特征提取，将多模态数据的进行特征融合，形成融合特征；根据融合特征构建心理健康预测模型，并使用融合特征对心理健康模型进行训练；利用训练好的心理健康预测模型对用户的心理健康进行预测，得到对应的心理健康分析结果。本发明结合利用深度学习网络和多模态融合技术，提高了心理健康测试的效率和准确性。

本发明授权一种多模态心理健康预测方法及系统在权利要求书中公布了：1.一种多模态心理健康预测方法，其特征在于，所述方法包括：S1、收集待测试的人员的多模态数据，并对所述多模态数据新进行预处理，得到训练集；其中，所述多模态数据包括语音数据、文本数据、表情图像数据和生理数据；S2、对多模态数据进行特征提取，将多模态数据的进行特征融合，形成融合特征；S3、根据融合特征构建心理健康预测模型，并使用融合特征对心理健康模型进行训练；S4、利用训练好的心理健康预测模型对用户的心理健康进行预测，得到对应的心理健康分析结果；其中，所述S2的具体步骤为：S21、将文本数据、表情图像数据输入编码器；其中，使用BERT编码器对文本数据进行特征提取，得到文本单模态特征表示如下： 其中，Coni表示输入文本，i表示第i条获取的文本，即Coni＝Con1，Con2，Con3......Coni，W1表示文本数据提取过程中的权重参数；将表情图像数据imagei输入DNN卷积编码器，得到图像单模态特征表示如下： 即i∈[1，2，3，4....]；S22、将语音数据和生理数据输入长短时记忆神经网络，得到复合情绪变化特征；S23、基于文本单模态特征、图像单模态特征和复合情绪变化特征三个模态特征，分别两两模态融合，得到对应的双模态融合特征；其中，所述S22，具体步骤包括：将每份语音数据转换为文字，然后对每份语音数据进行分帧处理，得到每帧数据的语音特征，同时利用时间滑动窗口的方式提取每个时间尺度内的生理数据的生理特征；其中，嵌入层将每份语音数据编码为情绪表达向量输入特征抽取层，情绪表达向量利用根据预测的情绪表达词典统计预处理后的语音数据中的情绪表达，并将其编码为情绪表达向量，然后将所述情绪表达向量输入特征抽取层，利用情绪原因特征单元通过长短时记忆神经网络对事件原因抽取；利用复合情绪知识单元结合长短时记忆神经网络对语音特征和生理特征的复合情绪变化特征进行提取，得到复合情绪变化特征motioni；所述S23，具体步骤包括：将文本单模态特征、图像单模态特征和复合情绪变化特征三个模态特征，分别两两模态融合，表示如下： 其中，表示文本数据和表情图像数据的融合特征，表示文本数据和复合情绪变化特征的融合特征，表示表情图像数据和复合情绪变化特征的融合特征；t表示时间步，代表某一个时间段；表示复合情绪变化特征；在通过长短记忆神经网络对三个融合特征进行编码，获取双模态的时间特性，表示如下： 其中，M2表示双模态融合的序列，M2＝{Coni，imagei，Coni，motioni，imagei，motioni}，k表示当前时间步t的两个模态向量的融合，表示长短时神经网络的输出，表示长短时记网络的记忆单元；所述S3具体包括：将双模态融合特征和以及文本单模态特征、图像单模态特征和复合情绪变化特征三个模态特征输入对应的三层深度神经网络中，以双模态特征为训练集，文本单模态特征、图像单模态特征和复合情绪变化特征三个模态特征为测试集进行训练，得到心理健康预测模型；所述S4具体为：将双模态融合特征进行特征融合，形成复合融合特征；将复合融合特征输入全连接层后进行线性变换，得到心理健康类别的输出值；根据心理健康类别的输出值，再通过Softmax函数计算对应心理健康类别的概率值，将概率值最大的类别作为心理健康识别的结果，表示如下： 其中，P表示对应心理健康类别的概率值，Vt表示连接层输出的当前时间步t的心理健康类别的元素，n表示总的心理健康类别，j表示索引变量，用于遍历所有心理健康类别的输出值，Vj表示索引变量对应的心理健康类别的元素。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人肇庆医学院，其通讯地址为：526020 广东省肇庆市肇庆新区丰乐路12号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。