买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:昆山杜克大学
摘要:本发明实施例公开了一种多模态情感交互系统及方法,该系统包括客户端和服务器端,通过客户端和服务器端的配合,应用行为分析ABA理论作为基础框架,指导家长理解和干预孩子的行为,并通过模拟情景练习,引导家长理解干预行为的细节,能够为家长提供一个结构化的路线图,帮助他们理解和管理孩子的行为,同时将理论概念与实践应用相结合,提高家长提供针对孩子需求的定制干预的能力。可用于解决目前孤独症儿童护理存在的信息来源不可靠、个性化内容缺乏、理论知识与现实操作存在鸿沟的问题。
主权项:1.一种多模态情感交互系统,其特征在于,包括客户端和服务器端,所述客户端包括前端和后端;所述前端包括:采集模块,用于采集用户信息,所述用户信息包括音频数据和图像数据;输出模块,用于展示根据所述用户信息分析得到的代理影像,所述代理影像包括虚拟场景和人物动态;所述后端包括:接收模块,用于接收服务器端发送的行为语言数据,所述行为语言数据根据所述用户信息分析得到;生成模块,用于根据所述行为语音数据生成相应的虚拟人控制信息;场景控制模块,用于根据所述行为语音数据管理应用的场景信息;交互模块,用于根据所述虚拟人控制信息和所述场景信息生成交互回答的所述代理影像;所述服务器端包括:情感识别模块,用于分析所述前端采集的所述用户信息,得到识别信息;检索模块,用于根据所述识别信息检索得到检索信息;预训练模块,用于根据所述识别信息和检索信息,基于大语言模型生成训练信息,所述训练信息包括问题和对话;情感融合模块,用于根据所述识别信息和所述训练信息,生成所述行为语言数据。
全文数据:
权利要求:
百度查询: 昆山杜克大学 多模态情感交互系统及方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。