买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明属于深度强化学习自动驾驶领域，涉及车辆安全决策技术，具体是一种基于多模态时空表征的级联深度强化学习安全决策方法，其先构建了一个多模态时空感知编码器从多模态连续输入中联合建模空间和运动信息，以获取动态驾驶场景的当前感知表征；而后，引入未来预测编码器从当前感知表征中捕获不同交通参与者之间的交互，获取未来预测表征；而后，连接当前感知表征和未来预测表征形成多模态时空表征并作为强化学习的状态输入，以全面把握场景，并结合分布式PPO算法，在针对安全决策设计的奖励函数指导下实现安全决策任务。本发明具有很高的环境适应性和决策成功率，能够在稠密交通场景中以及突发事件下实现智能汽车的主动安全决策任务。

主权项：1.基于多模态时空表征的级联深度强化学习安全决策方法，其特征在于，包括以下步骤：S1、原始传感器数据的采集及预处理；其中，原始传感器数据包括当前时刻的前视RGB彩色图像、激光雷达点云、速度数据以及与车道中心的偏差距离和偏差角度数据；对于激光雷达点云，首先将过去五帧的激光雷达点云重新对准当前时刻的车辆坐标系，然后将这连续六帧的点云都体素化为具有固定分辨率的2DBEV网格，最后将它们连接起来得到六通道激光雷达BEV投影伪图像；对于速度数据以及与车道中心的偏差距离和偏差角度数据，进行归一化操作；S2、结合空间感知和运动感知的多任务头监督训练一个多模态时空感知编码器，从单帧前视RGB彩色图像和连续六帧的激光雷达BEV投影伪图像中提取当前感知表征；该多模态时空感知编码器的网络由图像特征提取主干网络、激光雷达BEV特征提取主干网络、多模态特征融合网络和多任务头网络组成；S3、训练未来预测编码器学习从多模态时空感知编码器输出的激光雷达BEV特征flidar_fusion中捕获各交通参与者的相互关系，获取动态驾驶场景的未来预测表征；该未来预测编码器的网络由位置注意力网络、通道注意力网络、注意力融合网络和未来预测任务头网络组成；S4、完成步骤S2和步骤S3的监督训练后，设计奖励函数，使用分布式PPO强化学习算法训练深度强化学习决策模型，从激光雷达BEV特征和未来预测特征组成的多模态时空表征以及速度数据、与车道中心的偏差距离和偏差角度数据中学习最优安全决策策略。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于多模态时空表征的级联深度强化学习安全决策方法