买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:杭州电子科技大学
摘要:本申请属于自动驾驶技术领域,具体涉及一种基于多模态智能化交互提升驾驶信任度的系统及方法,该方法包括:采集驾驶员在多种人机交互组合方式场景驾驶下的行为数据、生理信号和眼动特征数据,并进行预处理和特征提取;将初始数据集输入预训练模型进行微调训练,得到用于信任度预测与智能交互推荐的大模型;基于记忆库的反馈机制实时更新大模型并生成信任度预测结果和推荐交互方式;判断结果是否满足提升信任度要求,并输出最优人机交互方式至人机交互模块。本申请解决了现有技术中人机交互系统智能化水平低、难以根据驾驶员信任度变化灵活调整交互方式的问题。
主权项:1.一种基于多模态智能化交互提升驾驶信任度的系统的方法,其特征在于,包括:步骤1:采集驾驶员在多种人机交互组合方式场景驾驶下的行为数据、生理信号和眼动特征数据,对采集的数据进行预处理和特征提取,根据驾驶员信任度评分和皮肤电反应值构建标签数据,将提取的特征数据与标签数据通过时间戳进行匹配,得到基于驾驶员信任度预测的初始数据集;步骤2:选用系统的预训练模型,将步骤1获得的初始数据集输入至预训练模型中进行微调训练,得到用于信任度预测与智能交互推荐的大模型;步骤3:在步骤2的基础上构建大模型的记忆库,将步骤1的初始数据集录入记忆库,基于记忆库的数据更新规则,实时更新步骤2用于信任度预测与智能交互推荐的大模型训练学习的数据,基于记忆库的反馈机制,获得驾驶员的交互体验反馈数据和系统自身运行数据,并对反馈的数据进行标签化处理;步骤4:在步骤3的基础上,利用prompt模板,通过步骤1的初始数据集与预测目标生成信任度预测结果和推荐交互方式;步骤5:大模型基于prompt模板生成的信任度预测结果以及驾驶员实际的信任度评分,判断prompt模板生成的结果是否满足提升信任度要求,若不满足提升信任度要求,则大模型无指令输出至人机交互模块,并将分析结果输入记忆库更新,若满足提升信任度要求,则大模型输出prompt模板生成的推荐的最优人机交互方式指令至人机交互模块;步骤6:人机交互模块根据大模型发送的最优人机交互方式控制相应的人机交互子模块预驾驶员实现交互。
全文数据:
权利要求:
百度查询: 杭州电子科技大学 一种基于多模态智能化交互提升驾驶信任度的系统及方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。