买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京师范大学;未来模因(北京)科技有限公司申请的专利基于多模态输入的人工智能心理测评方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119108112B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411324664.3，技术领域涉及：G16H50/30；该发明授权基于多模态输入的人工智能心理测评方法和系统是由韩卓;陈晟昊;高梦宇;张鹏志设计研发完成，并于2024-09-23向国家知识产权局提交的专利申请。

本基于多模态输入的人工智能心理测评方法和系统在说明书摘要公布了：本发明公开基于多模态输入的人工智能心理测评方法和系统，所述方法包括以下步骤：S10：建立并训练用于心理测评的个人心理模型；S20：接收用户发起的心理测评请求，通过所述个人心理模型与所述用户进行对话；S30：在与所述用户对话的过程中，获取所述用户的多模态数据；S40：对所述用户的多模态数据进行处理分析，对所述用户进行心理健康评估。该方法能够获取和处理用户的多种类型数据，如文本、语音、面部表情、生理信号等。这种多模态数据融合的方式能够提供更全面、准确的心理状态信息，从而提高心理测评的准确性。该方法为每个用户建立并训练个性化心理模型，能够提供更具针对性的心理测评服务。

本发明授权基于多模态输入的人工智能心理测评方法和系统在权利要求书中公布了：1.一种基于多模态输入的人工智能心理测评方法，其特征在于，所述方法包括以下步骤：S10：建立并训练用于心理测评的个人心理模型；S20：接收用户发起的心理测评请求，通过所述个人心理模型与所述用户进行对话；S30：在与所述用户对话的过程中，获取所述用户的多模态数据；S40：对所述用户的多模态数据进行处理分析，对所述用户进行心理健康评估；步骤S10具体包括：S11：优化预训练的大型语言模型，通过逐步蒸馏的方式使所述大型语言模型适应心理测评的语境；S12：根据用户基础信息，初始化预训练的大型语言模型，以获得第一个人心理模型；S13：通过所述第一个人心理模型与用户进行对话交流；S14：在对话过程中，获取所述用户的多模态数据，所述多模态数据包括视频数据、音频信号、热成像数据、近红外数据、和高速摄影数据；S15：对所述多模态数据进行处理；S16：使用迁移学习的方式将处理后的多模态数据输入到所述第一个人心理模型中，以进行训练迭代优化得到第二个人心理模型；步骤S12具体包括如下步骤：S121：收集用户基础信息，并将所述用户基础信息编码为大型语言模型的处理格式，所述编码的方式包括独热编码、嵌入向量和组合特征至少一种；S122：从存储中加载基于Transformer架构的预训练的大型语言模型；S123：对所述预训练的大型语言模型进行参数调整，以得到所述第一个人心理模型，其包括：在预训练的大型语言模型的神经网络的顶层增加一个或者一个以上新的神经网络层；将编码后的用户基础信息作为添加了新的神经网络层的预训练的大型语言模型的输入，与预训练的大型语言模型的每个Transformer层的输入结合，输出一组适应性权重；结合预训练的大型语言模型的基础权重和适应性权重，通过混合加权求和方式确定新的权重矩阵，以对预训练的大型语言模型进行个性化调整，得到所述第一个人心理模型；其中所述混合加权求和的混合参数α取值范围介于0和1之间；S124：基于用户基础信息，独立存储与所述用户对应的所述第一个人心理模型；步骤S15具体包括：步骤S151：对所述多模态数据中的视频数据进行处理；步骤S152：对所述多模态数据中的音频信号进行处理；步骤S152具体包括：音频预处理子步骤、语音识别子步骤、语气与语调分析子步骤、以及节奏停顿分析子步骤；所述音频预处理子步骤包括：对所述音频信号进行降噪处理；将降噪处理后的音频信号进行分割处理，获得经过降噪和分割处理的音频帧；对所述经过降噪和分割处理的音频帧进行频谱特征提取，并且对提取的频谱特征进行归一化处理获得预处理后的音频信号；所述语音识别子步骤包括：以所述预处理后的音频信号为输入，使用序列到序列模型进行语音识别，输出与所述预处理后的音频信号对应的初步文本序列；其中，所述序列到序列模型包括编码器和带有注意力机制的解码器，并引入增强学习策略，以最小词错率作为模型训练的奖励函数；以所述预处理后的音频信号和所述初步文本序列作为输入，结合转换器模型进行联合训练和联合解码，输出优化后的文本序列；所述语气与语调分析子步骤包括：使用基音检测算法提取预处理后的音频信号中的语调模式；使用梅尔频率倒谱系数和线性预测倒谱系数提取预处理后的音频信号中的关键数据特征，并将所述关键数据特征输入预训练的深度神经网络中，提取声学特征；根据所述语调模式和所述声学特征，使用语音情感识别算法分析说话人的情感状态，生成语气与语调的数据特征；所述节奏停顿分析子步骤包括：对预处理后的音频信号进行预加重，输出预加重后的音频信号；对所述预加重后的音频信号进行语音能量检测，计算预加重后的音频信号的能量轮廓，并识别能量低于预设阈值的区域，将其标记为静默或停顿；对所述预加重后的音频信号进行谱熵分析，测量频谱的熵值，以区分语音段和非语音段；对所述预加重后的音频信号提取时域特征，所述时域特征包括零交叉率ZCR；对所述预加重后的音频信号提取频域特征，所述频域特征包括频谱质心和频谱平坦度，用于分析音频信号的频谱特性；基于所提取的所述时域特征和所述频域特征，生成节奏停顿的数据特征，以用于心理状态的评估。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京师范大学;未来模因(北京)科技有限公司，其通讯地址为：100080 北京市海淀区新街口外大街19号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。