买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江工业大学申请的专利基于策略诱导对多交叉口信号灯协同控制的中毒攻击方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115426151B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211040902.9，技术领域涉及：H04L9/40；该发明授权基于策略诱导对多交叉口信号灯协同控制的中毒攻击方法是由徐东伟;王达;李呈斌设计研发完成，并于2022-08-29向国家知识产权局提交的专利申请。

本基于策略诱导对多交叉口信号灯协同控制的中毒攻击方法在说明书摘要公布了：本发明公开了一种基于策略诱导对多交叉口信号灯协同控制的中毒攻击方法，采用强化学习深度Q学习算法DQN训练多交叉口信号灯协同控制模型，根据策略诱导攻击方法分别训练替代模型和对手策略，利用训练过程中经验池的样本重构交通状态，使得目标智能体采取对手策略的指定动作，最终对训练过程中传递给邻接路口的Q值发生变化导致协同机制被恶意破坏。本发明能够在训练的最后阶段通过对替代模型计算扰动交通状态并传递给目标智能体，使得目标智能体采取攻击者指定的动作，大幅降低区域多交叉口的车辆通行效率。

本发明授权基于策略诱导对多交叉口信号灯协同控制的中毒攻击方法在权利要求书中公布了：1.一种基于策略诱导对多交叉口信号灯协同控制的中毒攻击方法，用于智能交通与机器学习信息安全，包括以下步骤：步骤1：在多交叉口的道路网格上训练强化学习DQN多智能体协同控制模型，训练完成后的强化学习DQN多智能体协同控制模型的网络参数不再发生变化，且具有较高的迁移性，在多交叉口测试过程中体现出高流畅度且无拥堵发生；步骤2：将所述步骤1中正常训练的智能体策略记为π，确定其中一个要攻击的智能体策略为目标智能体，为了多交叉口信号灯协同控制系统受到异常交通状态的影响，需要训练攻击者指定的对手策略，记为πadv，对手策略πadv是攻击者通过训练所学习到的一种用于指定目标智能体在局部交通状态下要采取何种次优动作的策略；通过对目标交叉口的智能体选择次优动作进行对手策略的训练，并将对手策略用于指定目标智能体要采取的异常动作，从而延迟区域多交叉口网络的车辆流通时间；此外，采用所述步骤1中的训练数据训练该目标智能体的替代模型，攻击者通过该替代模型计算扰动交通状态使得目标智能体采取对手策略的指定行为；步骤3：对多交叉口智能体进行训练时，仅在最后一轮训练过程中让目标智能体采取对手策略指定的异常动作破坏多智能体的协同，而在其余轮次按照正常训练过程进行；当智能体的训练进行到最后一个阶段时，此时目标智能体与替代模型观察到交通状态后采取的动作大致相同；在每个训练阶段的时间，攻击者通过对手策略指定异常动作采用快速梯度下降攻击算法，沿着梯度方向并根据符号函数进行赋值生成异常动作相对应的扰动δt+1，公式表示为： 其中ε代表扰动系数，a′为对手策略所指定的异常动作，sign代表符号函数，θ为替代模型的网络参数，Lθ,st+1,a′代表t时刻替代模型的损失函数；对扰动δt+1进行降序排序得到新的排序数组： 在δt+1″中按顺序读取扰动并添加到局部交通状态中生成异常交通状态，直至该异常交通状态输入到目标智能体中执行对手策略指定的异常动作a’，将异常交通状态记为并且该扰动状态下采取的动作使得为目标智能体m选取异常动作a′时Q值列表中的最大Q值，A表示智能体的动作空间；θm′代表相邻交叉口m’的神经网络参数；同时，该异常交通状态作为目标智能体的下一个原始交通状态st+1并存入经验池中，当从经验池中取出数据进行训练时，处于训练过程中的目标智能体观察到异常交通状态将执行攻击者指定的动作并且该异常动作会被误认为最优动作；步骤4：由于多交叉口交通网络的训练过程中包含多智能体的协同机制，即相邻智能体之间存在Q值迁移机制；当正常训练的目标智能体受到策略诱导攻击时，将会执行异常动作此时目标智能体的Q值会发生变化，同时当前智能体的Q值会在相邻交叉口的Q值传递过程中对相邻智能体的Q值造成变化导致多智能体协同机制被破坏，最终无法学习到最优协同策略；最后在sumo上对正常模型和异常模型在多交叉口网格上进行流畅度对比。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。