买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江工业大学申请的专利基于强扰动检测与模型再训练的深度强化学习交通信号控制中毒防御方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115361224B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211041001.1，技术领域涉及：H04L9/40；该发明授权基于强扰动检测与模型再训练的深度强化学习交通信号控制中毒防御方法是由徐东伟;王达;李呈斌设计研发完成，并于2022-08-29向国家知识产权局提交的专利申请。

本基于强扰动检测与模型再训练的深度强化学习交通信号控制中毒防御方法在说明书摘要公布了：本发明公开了一种基于强扰动检测与模型再训练的深度强化学习交通信号控制中毒防御方法，该方法首先利用强扰动获取输入数据中的后门数据，再对后门数据进行识别进一步确定异常数据点，最后可通过数据层面的防御将测试过程中异常数据的异常数据点进行去除，或是通过模型层面的防御将原始训练数据与反向触发器重构训练集对中毒模型进行忘却学习使得中毒模型忘却触发器引发的异常行为。本发明通过检测方法首先将异常交通状态数据筛选出来，只需在后门数据子集中寻找“反向触发器”而无需对所有输入数据进行计算，最后通过两个层面的防御方法对模型层面和数据层面进行防御，以此消除后门触发器带来的异常行为，提高交叉路口的车辆通行效率。

本发明授权基于强扰动检测与模型再训练的深度强化学习交通信号控制中毒防御方法在权利要求书中公布了：1.一种基于强扰动检测与模型再训练的深度强化学习交通信号控制中毒防御方法，包括以下步骤：步骤1：对于中毒模型，再次将交通状态数据x作为输入并加入大量的随机噪声生成扰动交通状态数据，将这些扰动交通状态数据输入到中毒模型中观察预测结果的概率值变化并计算信息熵；步骤2：基于每个扰动交通状态数据的信息熵计算所有扰动交通状态数据的信息熵值之和，信息熵值之和的大小反应了交通状态数据x中包含木马触发器的概率；再将每个交通状态数据x的信息熵分布进行拟合，找出最适合的概率分布并设定检测阈值，由此将交通状态数据划分为后门数据和干净数据两个子集；步骤3：通过基于梯度的计算方法对每个后门数据中的数据点进行降序删除，直至中毒模型输出的动作发生变化，记录下此时删除的异常点并记为“反向触发器”；最后所有后门数据对应的“反向触发器”再采用绝对中位差的异常点检测算法找出“最终唯一的反向触发器”，“最终唯一的反向触发器”就是导致中毒模型输出结果异常的原始触发器；步骤4：针对数据层面的防御：在中毒模型测试过程中检测交通状态数据x是否包含“反向触发器”，一旦检测到“反向触发器”就对交通状态数据x中的“反向触发器”进行删除再输入到中毒模型中；针对模型层面防御：将原始训练数据的10％取出与“反向触发器”重构训练集，并修改这些训练数据的标签为原始标签，原始标签在识别过程中能够被发现，将重构的训练集输入到中毒模型中进行忘却学习，再进行微调最终得到防御模型；所述步骤3的过程如下：为了找出后门数据中的触发器位置，对后门数据中所有交通状态数据x逐个采用基于梯度的方法得到交通状态数据x中每个状态位对预测结果的影响是正向的还是逆向的，每个状态位的梯度值大小记为：η＝{η1,……,ηj}4其中，j代表交通状态数据x中的车辆状态位的个数，ηj代表第j个状态位的梯度值大小；中毒模型的预测过程表示为：ak＝Fx5其中F代表中毒模型的预测过程，ak代表中毒模型的预测结果，k为中毒模型可选的交通信号灯相位的个数；对于后门数据子集中的每一个数据，将梯度值绘制为热力图的形式更清晰地反映对预测结果有重要影响的数据；由于输入的交通状态数据x是记录路口当前位置是否有车辆，若该位置有车则值为1，否则为0，公式表示为：x＝{x1,……,xj}6 依次观察后门数据子集对应的热力图，按照降序的顺序将交通状态数据x中相应的数据由1改为0，即，根据交通状态数据x的梯度值判断交通状态数据中的异常点位置，并将其删去，此时的交通状态数据x变为：x-d＝{x1,…xd-1,0,xd+1,…,xj}8其中x-d代表交通状态数据x中的第d个状态位信息被去除，xd的值由1变为0；将该数据输入到中毒模型中得到新的预测结果ak′＝Fx-d，通过与交通状态数据x的预测结果ak比较，若ak′＝ak，则重复上述过程；若ak′≠ak，则将删去的状态位信息进行记录；最终后门数据子集可以被记录为异常数据点集合D＝{D1,…,Dm}，D中包含了所有后门数据中被删去的状态位信息，m为后门数据子集的个数；通过基于绝对中位差的异常点检测算法从集合D中找出唯一的“反向触发器”，它能够提供分布离散度的可靠度量；首先计算出D中的数据个数与中位数之间的偏差，用公式表示为MAD＝median|lenDM-medianlenD|9其中M∈1,m，median代表中位数，len代表包含的状态位个数；为了能将MAD当作标准差估计的一种估计量，使用异常指数σ＝k·MAD进行计算，其中k为比例因子常量；若σ＞2，则该集合D中对应的DM被视为异常值，同时DM对应的交通状态数据x也被视为非后门数据；此时观察新的后门数据子集经过模型预测的结果，它们的预测动作即为中毒模型观察到木马触发器采取的异常动作，即为中毒标签；找到木马触发器对应的中毒标签后，从后门数据子集中找到异常数据点出现频率高的状态位作为“反向触发器”；此时记录的“反向触发器”被认为是引起中毒模型预测结果异常的原始触发器。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。