首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

应急救援环境下基于多模态融合的驾驶员行为识别方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中国矿业大学

摘要:本发明公开一种应急救援环境下基于多模态融合的驾驶员行为识别方法,包括通过高度逼真的驾驶模拟器模拟应急救援环境,招募驾驶员进行大量实验获得模拟实验数据,并结合真实应急救援场景下的实车实验数据,构建应急救援环境下的驾驶员行为数据集、通过多模态特征提取模块分别提取预瞄环境图像、驾驶员眼动图像、驾驶员肌电数据和车辆操纵数据的初始多源数据特征,基于不同注意力机制深入挖掘特征数据的时空特性,获取不同特征数据对驾驶员行为的影响权重系数,采用加权的方式融合多模态驾驶员行为特征数据等,本发明克服了应急救援环境下通过单模态数据难以精准识别驾驶员行为的缺陷。

主权项:1.一种应急救援环境下基于多模态融合的驾驶员行为识别方法,其特征在于,包括:S1、通过高度逼真的驾驶模拟器模拟应急救援环境,招募驾驶员进行大量实验获得模拟实验数据,并结合真实应急救援场景下的实车实验数据,构建应急救援环境下的驾驶员行为数据集;S2、通过多模态特征提取模块分别提取预瞄环境图像、驾驶员眼动图像、驾驶员肌电数据和车辆操纵数据的初始多源数据特征,基于不同注意力机制深入挖掘特征数据的时空特性,获取不同特征数据对驾驶员行为的影响权重系数,采用加权的方式融合多模态驾驶员行为特征数据,并结合双向门控循环单元,构建基于多模态特征融合的驾驶员行为识别网络;S3、以预瞄环境图像、驾驶员眼动图像、驾驶员肌电数据和车辆操纵数据为输入,基于所构建的基于多模态特征融合的驾驶员行为识别网络,输出驾驶员转向力矩、作用在油门踏板和制动踏板上的压力,实现应急救援环境下驾驶员高度非线性行为的精准识别。

全文数据:

权利要求:

百度查询: 中国矿业大学 应急救援环境下基于多模态融合的驾驶员行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。