龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)
摘要：本发明公开了基于层次交叉注意力机制的多模态抑郁症检测方法，涉及人工智能技术领域，获取用户的采访视频，并对采访视频进行特征提取，得到音频特征和视频特征，将音频特征和视频特征输入到已训练完成的Transformer模型中，以输出用户的抑郁程度；所述Transformer模型采用多层次交叉注意力机制，该多模态抑郁症检测方法的数据采集结合了具有良好应用信度的PHQ‑8抑郁量表，全面采集了视频模态、音频模态的数据，以及考虑了跨模态特征信息，补充了不同模态之间的潜在联系，用于对用户抑郁症状进行更全面的评估，检测结果更加准确。
主权项：1.基于层次交叉注意力机制的多模态抑郁症检测方法，其特征在于，获取用户的采访视频，并对采访视频进行特征提取，得到音频特征和视频特征，将音频特征和视频特征输入到已训练完成的Transformer模型中，以输出用户的抑郁程度；所述Transformer模型采用多层次交叉注意力机制，Transformer模型的训练过程如下：S1、获取用户的采访视频，并对采访视频进行特征提取，得到音频特征和视觉特征；S2、将音频特征送入预先构建的音频高级特征提取模块中，以输出音频模态特征，将视觉特征送入预先构建的表情提取模块中，以输出视觉模态特征；S3、将音频模态特征和视觉模态特征送入预先构建的层次化交叉注意力模块中，基于跨模态融合以及自注意力机制操作，输出音频模态融合特征和视觉模态融合特征；S4、将音频模态融合特征和视觉模态融合特征送入最后一层的自注意力模块，而后通过Softmax完成分类，以输出用户的抑郁程度，基于用户的抑郁程度调整Transformer模型中的模型参数，以实现对Transformer模型的训练。
全文数据：
权利要求：
百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于层次交叉注意力机制的多模态抑郁症检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号