买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网天津市电力公司营销服务中心;国网天津市电力公司;国家电网有限公司

摘要：本发明公开了一种供电所业务指标预警方法、系统及存储介质、电子终端。方法包括如下步骤：将真实的电力系统环境转化为一个能够与智能体进行交互的强化学习环境；采集供电所业务指标相关的历史数据，并进行预处理；对预处理后的历史数据，利用改进的自动编码机进行筛选，得到筛选后的历史数据；基于筛选后的历史数据，构建基于双延迟深度确定性策略梯度算法的智能体；实时采集供电所业务指标相关的数据，利用所述基于双延迟深度确定性策略梯度算法的智能体对实时采集供电所业务指标相关的数据进行监测，并根据预警策略进行预警。采用该发明方案有效降低了供电所业务指标异常对电力系统安全稳定运行的影响。

主权项：1.一种供电所业务指标预警方法，其特征在于，包括如下步骤：步骤S1：将真实的电力系统环境转化为一个能够与智能体进行交互的强化学习环境；步骤S2：采集供电所业务指标相关的历史数据，并进行预处理；步骤S3：对预处理后的历史数据，利用改进的自动编码机进行筛选，得到筛选后的历史数据；所述改进的自动编码机的训练描述如下：h1＝σeW1x+b11z＝σdW2h1+b22其中，W1，b1分别为编码的权重和偏置，W2，b2分别为编码的权重和偏置；x为输入的历史数据，z为编码结果，所述编码结果为筛选后的历史数据；h1为隐藏层变量，σe，σd都是常数；所述改进的自动编码机的损失函数描述如下： 其中，J·为总损失函数，L·为子损失函数；步骤S4：基于筛选后的历史数据，构建基于双延迟深度确定性策略梯度算法的智能体；所述智能体核心是双延迟神经网络，由两个目标网络Q1S，A、Q2S，A和一个策略网络μs组成；其中，双延迟神经网络的执行过程，如下：对于当前状态S，S＝z，执行动作A：A＝μs+N4其中，N为噪声模型中的随机噪声；执行动作A，得到奖励R和下一个状态S′，将经验S，A，R，S′存储在经验缓冲区中；从经验缓冲区中随机抽取M个经验Si，Ai，Ri，S′i，如果S′i是终止状态，将Ri赋值给价值函数；双延迟神经网络的训练过程，如下：价值函数是经验奖励Ri和折扣后的未来奖励之和，智能体首先通过将采样经验中的下一个状态S′传递给目标Actor来计算下一个动作，并在该动作基础上添加噪声，智能体将下一个动作传递给目标Critic来获得累积奖励，在每个训练步骤中，通过最小化所有采样经验的损失L来更新Critic参数： 其中，Lk是计算得到的损失，yi是期望决策，Qk是强化学习权重因子，是涉及到的可学习的参数，i表示第i个经验；智能体的奖励函数表示为：RS，A，S′＝α·SafeS，A，S′+β·StabS，A，S′-τ·DelayS，A，S′6其中，S表示当前状态，A表示智能体行动，S′表示下一状态，SafeS，A，S′为安全奖励，StabS，A，S′为稳定奖励，DelayS，A，S′为延迟惩罚，α、β、τ为调节因子，用于平衡各指标的重要性；步骤S5：实时采集供电所业务指标相关的数据，利用所述基于双延迟深度确定性策略梯度算法的智能体对实时采集供电所业务指标相关的数据进行监测，并根据预警策略进行预警。

全文数据：

权利要求：

百度查询： 国网天津市电力公司营销服务中心 国网天津市电力公司 国家电网有限公司 供电所业务指标预警方法、系统及存储介质、电子终端