买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河海大学

摘要：本发明公开一种交叉路口场景下交通灯与智能网联车辆协同控制的方法。该方法采用深度强化学习模型，通过设计优化车辆油耗与排队时延的奖励函数，将协同控制问题表述为部分马尔可夫决策过程；然后，将交通灯与智能网联汽车建模为两类智能体，这两类智能体通过实时交互状态信息，得到联合状态空间；接着，将联合状态空间输入到训练好的深度强化学习模型，得到智能体联合动作空间；最后，根据联合动作空间，对交通灯与智能网联汽车两类智能体进行协同控制。控制参量包括：交通灯相位和智能网联车辆纵向运动加、减速度。本发明相较于已有方法的主要优势在于，该方法在显著提升交叉路口车辆通行效率的同时，还能够大幅度减少车辆尾气排放量和油耗。

主权项：1.一种交叉口场景下交通灯与智能网联车辆协同控制方法，其特征在于该方法包括如下步骤：步骤一、构建道路交叉口和交通灯的路网建模，具体为：搭建的道路交叉口分为左转、直行和右转车道；其中交通灯相位信号分为南北直行、南北左转、东西直行、东西左转，右转不受限始终为绿灯，在上述四种相位切换过程中设计一段时间的黄灯作为过渡。步骤二、基于强化学习的交通灯与智能网联车辆协同控制模型构建，具体为：本发明方法中设计两类智能体，每种智能体的状态空间、动作空间、奖励函数设计如下：a状态空间设计交通灯：对于每个交叉口，使用当前路口交通灯状态信息、每条车道受观测车辆的状态信息和每条车道的车辆数驶入车道和驶出车道来表示状态空间。其中，使用P矩阵表示当前路口交通灯状态信息，V矩阵表示受观测车辆的状态信息，N矩阵表示当前路口交通流量情况，STL表示交通灯的状态空间，即STL＝P，V，N智能网联车辆：使用车辆的状态信息P，包括：车辆位置、速度、加速度、与前车相对速度、前车车距、前车加速度，以及当前路口交通灯的状态信息V，包括：当前交通灯允许通行方向、上一次交通灯相位改变时刻、当前交通灯黄灯状态，Scav表示智能网联车辆的状态空间，即Scav＝P，V两类智能体的状态信息结合形成联合状态空间b动作空间设计交通灯：设计四种动作，分别是南北方向直行、南北方向左转、东西方向直行、东西方向左转。智能网联车辆：设计了两种动作，分别是车辆加速和减速，主要用来控制车辆纵向运动。c奖励函数设计交通灯：时间步t时刻的奖励函数rTL为rTL＝w1*rP+w2*rE+w3*rf+w4*rd其中，w1，w2，w3，w4是权重系数，rp是交叉口通行压力部分奖励函数，rE是碳排放量部分奖励函数，rf是油耗部分奖励函数，rd是路口等待时延奖励函数。智能网联车辆：时间步t时刻的奖励函数rcav为rcav＝r1+r2其中，r1是使车辆以更快速度通过路口的部分奖励函数，r2是稳定车辆加速度的部分奖励函数。两种奖励函数结合形成联合奖励函数。步骤三、构建交通灯与智能网联车辆协同控制的深度强化学习模型所述的交通灯与智能网联车辆协同控制，具体为：在路网中加入智能网联车辆，其与交通灯交换环境信息，使交通灯的决策充分考虑交通车流量状况，从而动态改变交通灯切换时间，改善交通拥堵问题。同时，该方法也对智能网联车辆控制，因此可以很好地平衡减少行驶时间、油耗和碳排放。交通灯在和智能网联车辆通信时，只选择距离当前交通灯控制器最近的一个车辆合作，避免了和所有智能网联车辆合作协同，极大减少了训练时间和成本，也增加了该方法训练收敛的稳定性。所述的深度强化学习模型结构包括价值网络、当前策略网络和目标策略网络。该模型的获取方法包括：迭代执行总循环步骤，直至达到预设条件，得到训练好的深度强化学习模型。

全文数据：

权利要求：

百度查询： 河海大学 一种交叉口场景下交通灯与智能网联车辆协同控制方法