买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京小橙智算科技有限责任公司

申请日：2024-10-12

公开（公告）日：2025-01-03

公开（公告）号：CN119252050A

专利技术分类：..根据检测的车辆数或速度的[2006.01]

专利摘要：提供了HierarchicalLight:基于分层强化学习的城市交通状态建模方法以及交通信号控制方法。所提供的基于分层强化学习HRL的道路交叉口交通信号控制方法，包括：获取道路交叉口的第一交通状态，其中第一交通状态包括多个元素；根据所述第一交通状态生成第一多个权重，每个权重与所述第一交通状态的多个元素的每个对应；根据所述第一多个权重与所述多个元素生成第一可量化交通状态QTS；根据所述第一可量化交通状态QTS生成用于所述道路交叉口的交通信号相位；其中包括深度Q网络的状态智能体用于根据所述第一交通状态生成第一多个权重以及第一可量化交通状态QTS；包括强化学习模块的交通智能体用于根据所述第一可量化交通状态QTS生成用于所述道路交叉口的第一交通信号相位；所述状态智能体和所述交通智能体分别是分层强化学习HRL中的相对高层级代理和相对低层级代理。

专利权项：1.基于分层强化学习HRL的道路交叉口交通信号控制方法，包括：获取道路交叉口的第一交通状态，其中第一交通状态包括多个元素；根据所述第一交通状态生成第一多个权重，每个权重与所述第一交通状态的多个元素的每个对应；根据所述第一多个权重与所述多个元素生成第一可量化交通状态QTS；根据所述第一可量化交通状态QTS生成用于所述道路交叉口的交通信号相位；其中包括深度Q网络的状态智能体用于根据所述第一交通状态生成第一多个权重以及第一可量化交通状态QTS；包括强化学习模块的交通智能体用于根据所述第一可量化交通状态QTS生成用于所述道路交叉口的第一交通信号相位；所述状态智能体和所述交通智能体分别是分层强化学习HRL中的相对高层级代理和相对低层级代理；其中，为训练所述深度Q网络，执行下列步骤S1到步骤S7；步骤S1，从交通环境获取代表第二交通状态的多个元素作为所述深度Q网络的状态S；基于使所述深度Q网络的Q值最大化来根据状态S产生第二多个权重作为所述深度Q网络的行为A；步骤S2，根据第二交通状态的多个元素与所述第二多个权重生成第二可量化交通状态QTS提供给交通智能体；步骤S3，交通智能体根据第二可量化交通状态QTS实施交通信号控制；步骤S4，收集交通智能体控制下交通环境的平均通行时间ATT，根据平均通行时间ATT计算用于训练所述深度Q网络的奖励R；步骤S5，收集交通智能体控制下交通环境中代表第二交通状态的新值的多个元素作为所述深度Q网络更新后的状态S’；步骤S6，使用所述状态S、所述行为A、所述奖励R和所述状态S’生成训练数据；以及步骤S7，从所述训练数据来训练所述深度Q网络。

百度查询： 北京小橙智算科技有限责任公司 HierarchicalLight:基于分层强化学习的城市交通状态建模方法以及交通信号控制方法