买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中南大学湘雅二医院;湖南超能机器人技术有限公司申请的专利基于多模态数据和垂类大模型的心理咨询机器人获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119167308B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411646036.7，技术领域涉及：G06F18/25；该发明授权基于多模态数据和垂类大模型的心理咨询机器人是由邓奇坚;蒿敬波;肖湘江;杨建浩;彭向明设计研发完成，并于2024-11-18向国家知识产权局提交的专利申请。

本基于多模态数据和垂类大模型的心理咨询机器人在说明书摘要公布了：本申请涉及一种基于多模态数据和垂类大模型的心理咨询机器人。该机器人用于提供家庭、学校、企业等场景的心理咨询服务，前端依托智能机器人终端，以虚拟数字人为人机交互的主要方式，辅以多模态情绪识别以增强心理咨询效果；后端以智能代理为控制核心，以心理大模型为计算平台。利用大模型强大的语义理解与对话交互能力，结合表情和语音的多模态模式识别，实现心理评估与心理疗愈功能，同时具备外部知识库的知识补充与查验能力；使用结构化提示结合多模态情绪数据增强的策略，借助检索增强生成和知识图谱技术，充分利用了大模型的性能优势而又同时降低了幻觉问题的发生，并且采用数字人交互方式，减少人际隔阂，提升咨询质量。

本发明授权基于多模态数据和垂类大模型的心理咨询机器人在权利要求书中公布了：1.一种基于多模态数据和垂类大模型的心理咨询机器人，其特征在于，所述心理咨询机器人包括：智能机器人终端和智能机器人后端，其中，智能机器人终端包括虚拟数字人、多模态情绪识别模块、数据融合模块；所述智能机器人后端包括：智能代理模块、外部知识库以及心理大模型；所述虚拟数字人，用于实现人机多模态智能交互；所述多模态情绪识别模块，用于根据心理咨询机器人自身携带的语音采集装置和图像或视频采集装置采集的用户讲话时的图像和语音数据，进行特征提取和分类识别，得到面部表情识别结果和语音情绪识别结果；所述数据融合模块，用于将所述面部表情识别结果和语音情绪识别结果与用户对话文本进行融合，得到情绪和对话文本融合结果；所述智能代理模块是所述心理咨询机器人的控制核心，用于将所述面部表情识别结果和所述语音情绪识别结果，按照预设格式作为前缀插入用户对话文本中进行文本特征融合，得到完整的访谈文本序列；以所述访谈文本序列为输入，根据不同病症提示信息的指引，由所述心理大模型针对访谈内容给出用户心理状态评估结果，还用于实现心理疗愈、健康管理、用户健康报告结果查验功能，还用于实现RAG功能和与所述心理大模型的交互控制；所述外部知识库，用于进行心理专业知识补充与查验；所述心理大模型是基于开源LLM架构通过心理咨询微调数据集进行微调后的大模型，用于实现所述心理咨询机器人的计算平台；其中，所述多模态情绪识别模块包括：数据实时采集子模块、动态表情识别子模块以及语音识别子模块；所述数据实时采集子模块，用于在每次访谈对话时，在用户发言期间同步截取预设时间段的面部图像和语音信号序列；所述动态表情识别子模块，用于采用卷积神经网络编码器对每个面部图像进行深度特征提取，得到面部特征序列，然后对面部特征序列采用标准的Transformer编码器进行时空特征提取，得到词元编码序列，最后根据所述词元编码序列确定面部表情识别结果；所述语音识别子模块，用于对所述语音信号序列进行预处理，然后采用轻量音频分类模型架构提取语音信号的梅尔频率倒谱系数特征，最后根据所述梅尔频率倒谱系数特征采用LSTM神经网络进行分类，得到语音情绪识别结果；其中，根据所述词元编码序列确定面部表情识别结果，包括：根据所述词元编码序列采用词组分类器进行计算，得到面部表情识别结果；其中，所述词组分类器包括词元池化层和全连接层；所述词元池化层用于将所述词元编码序列交叉分割为两组，对于第一组中的每一个词元，从第二组中寻找一个最相似的词元作为合并目标并记录其词元相似度，将第一组中匹配词元相似度排名最高的预设数量个词元与第二组中的对应词元进行均值合并，合并完成后词元总数将减少预设数量，将剩余词元依次拼接，得到词元池化结果；所述全连接层用于根据所述词元池化结果进行分类，得到面部表情识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中南大学湘雅二医院;湖南超能机器人技术有限公司，其通讯地址为：410011 湖南省长沙市芙蓉区人民中路139号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。