买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：复旦大学

摘要：本发明属于智能交通技术领域，具体为基于强化学习和自注意力机制的信号灯控制系统及方法。本发明系统包括交通数据收集模块、交通隐状态编码模块、交通隐状态预测模块、信号灯相位控制模块；数据收集模块记录信号灯相位和交叉道路中各车道车辆总数，隐状态编码模块使用各车道当前车辆数据和当前信号灯相位对当前交叉路口的交通隐状态进行编码，隐状态预测模块使用交叉道路各车道车辆的历史时序数据和信号灯相位的历史时序数据对当前交叉路口的交通隐状态进行预测，信号灯相位控制模块根据交叉路口的交通隐状态决策信号灯相位并显示对应的控制信号。本发明结合强化学习有效提升交叉路口的通行效率；使用自注意力机制提升对失真交通数据的鲁棒性。

主权项：1.一种基于强化学习和自注意力机制的信号灯控制系统，其特征在于，包括交通数据收集模块，交通隐状态编码模块，交通隐状态预测模块以及信号灯相位控制模块；所述交通数据收集模块与交通隐状态编码模块、交通隐状态预测模块连接，交通隐状态编码模块、交通隐状态预测模块与信号灯相位控制模块连接；交通隐状态编码模块与交通隐状态预测模块连接；全部模块部署在受系统控制的各交叉路口中；其中：所述交通数据收集模块，用于收集交叉路口的交通数据，并将高精度交通数据传递给交通隐状态编码模块，将低精度时序交通数据传递给交通隐状态预测模块；所述高精度交通数据包括交通摄像头和环路探测器收集或处理并经过校对得到的交叉路口中各车道车辆总数、交叉路口的信号灯相位数据；所述低精度交通数据包括交通摄像头和环路探测器收集或处理得到的可能包含数据失真的交叉路口中各车道时序车辆总数、交叉路口的信号灯时序相位数据；所述交通隐状态编码模块，使用强化学习方法对当前交叉路口的交通隐状态进行编码；所述交通隐状态预测模块，使用自注意力机制对当前交叉路口的交通隐状态进行预测；所述信号灯相位控制模块，使用强化学习方法根据交通隐状态决策下一时刻的信号灯相位，并显示对应的控制信号；1所述交通数据收集模块，具体包括：交通数据收集单元，交通数据校对单元；其中：所述交通数据收集单元，包括交通摄像头、环路探测器，用于收集交叉路口的低精度时序交通数据，包括可能包含数据失真的交叉路口中各车道的时序车辆总数，以及当前交叉路口的时序信号灯相位；所述交通数据校对单元，用于校对所述交通数据收集单元收集的数据，并得到用于强化学习训练的高精度交通数据，包括经过校对的交叉路口中各车道的车辆总数，以及当前交叉路口的信号灯相位；2所述交通隐状态编码模块，具体包括：信号灯相位嵌入单元，交通数据处理单元，交通隐状态编码单元；其中：所述信号灯相位嵌入单元，用于从所述交通数据收集单元获取信号灯相位，转化表达为信号灯相位嵌入表示；所述交通数据处理单元，用于从所述交通数据收集单元获取信号灯相位，转化表达为信号灯相位已持续时间；所述交通隐状态编码单元，用于从所述信号灯相位嵌入单元获取信号灯相位嵌入表示，从所述交通数据处理单元获取信号灯相位已持续时间，从所述交通数据校对单元获取高精度交通数据后，使用强化学习方法对当前交叉路口的交通隐状态进行编码；3所述交通隐状态预测模块，具体包括：时序信号灯相位嵌入单元，失真时序车辆数据嵌入单元，失真交通数据自注意力单元，交通隐状态编码预测单元；其中：所述时序信号灯相位嵌入单元，用于从所述交通数据收集单元获取时序信号灯相位，转化表达为时序信号灯相位嵌入表示；所述失真时序车辆数据嵌入单元，用于从所述交通数据收集单元获取交叉路口中各车道的时序车辆数量，转化表达为时序失真车辆数据嵌入表示；所述失真交通数据自注意力单元，用于从所述时序信号灯相位嵌入单元获取时序信号灯相位嵌入表示，从所述失真时序车辆数据嵌入单元获取时序失真车辆数据嵌入表示后，整合提取交叉路口的数据特征表示；所述交通隐状态编码预测单元，用于从所述失真交通数据自注意力单元获取交叉路口的数据特征表示后，预测当前交叉路口的交通隐状态；4所述信号灯相位控制模块，具体包括：交通隐状态评估单元，交通隐状态相位评估单元，控制信号决策单元，控制信号显示单元；其中：所述交通隐状态评估单元，用于从所述交通隐状态编码单元和所述交通隐状态编码预测单元获取交通隐状态，并使用交通隐状态评估当前交叉路口的交通状态值；所述交通隐状态相位评估单元，用于从所述交通隐状态编码单元和所述交通隐状态编码预测单元获取交通隐状态，并使用交通隐状态评估当前交叉路口采取各信号灯相位的相位评估值；所述控制信号决策单元，用于从所述交通隐状态评估单元获取交通状态值，从所述交通隐状态相位评估单元获取相位评估值后，使用强化学习方法决策下一时刻的信号灯相位；所述控制信号显示单元，用于从所述控制信号决策单元获取下一时刻的信号灯相位，并根据当前信号灯相位，判断维持现有信号灯相位或过渡到新的信号灯相位，并显示相应的信号灯相位。

全文数据：

权利要求：

百度查询： 复旦大学 基于强化学习和自注意力机制的信号灯控制系统及方法