买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于动态DDPG的光伏单级逆变器控制方法和装置，设定动态DDPG模型的状态、动作和奖励函数，其中状态包括光伏单级逆变器的输入电压、输入电流、输出电压和输出电流，动作包括光伏单级逆变器载波频率信号和死区时间，对动态DDPG模型进行设置并离线训练，实时采集光伏单级逆变器的输入电压、输入电流、输出电压和输出电流，采用训练好的动态DDPG模型中的策略网络得到载波频率信号和死区时间，根据载波频率信号和死区时间生成驱动信号，对光伏单级逆变器中开关元件进行控制。本发明在传统DDPG算法引入延迟更新与动态调整策略，改善其参数调整困难、边界收敛性差的优化难题，并对光伏单级逆变器的结构进行改进，提高光伏发电的能量转换效率。

主权项：1.一种基于动态DDPG的光伏单级逆变器控制方法，其特征在于，包括以下步骤：S1：设定动态DDPG模型的状态、动作和奖励函数分别如下：状态其中分别表示光伏单级逆变器在时刻t的输入电压和输入电流，分别表示光伏单级逆变器在时刻t的输出电压和输出电流，S表示状态空间；动作其中表示时刻t的载波频率信号，表示时刻t的死区时间，A表示动作空间；奖励函数rt的计算公式如下： 其中，δ表示零电压开通惩罚因子，Ggoal表示优化效率参数，ζ表示输出功率误差惩罚因子，p0表示期望输出功率；S2：根据实际需要设置动态DDPG模型中4个神经网络，包括评价网络Qs,a|θQ，策略网络μs|θμ，目标评价网络Q′与目标策略网络μ′，并对动态DDPG模型进行离线训练；离线训练的具体步骤包括：S2.1：随机初始化评价网络Q与策略网络μ的参数，并分别复制得到完全相同的两个目标评价网络Q′与目标策略网络μ′；S2.2：建立经验回放缓存池C并对其进行初始化；S2.3：令训练轮次m＝1；S2.4：获取初始状态s1；S2.5：令时刻t＝1；S2.6：由策略网络μ对各个状态st以at＝μst|θμ的策略进行动作选择，并在所选择的动作上添加噪声作为状态st对应的动作at；根据状态st和动作at得到下一时刻的状态st+1和奖励rt，然后将st,at,rt,st+1作为经验样本存储至经验回放缓存池C中；如果经验回放缓存池C中经验样本数量超出其预定容量，按照预定规则删除多余经验样本；S2.7：在经验回放缓存池C中随机抽取数量为N的样本集构成训练集，使用目标评价网络Q′对动作进行估值得到动作的价值yi，计算公式如下：yi＝ri+Q′si+1,μ′si+1|θμ′|θQ′其中，i＝1,2,…,N；计算损失函数LθQ并对评价网络的参数θQ进行更新；S2.8：判断是否t＜T，T表示预设的最大时间步，如果是，进入步骤S2.9，否则进入步骤S2.10；S2.9：令t＝t+1，返回步骤S2.7；S2.10：计算策略网络μ的梯度，并对策略网络μ的参数进行更新，策略网络梯度的计算公式如下： 其中，表示策略网络的梯度，β表示采样策略，ρβ采样策略β下的状态分布，表示策略函数对于当前策略θμ的偏导，表示策略网络μ所得到的策略下的动作价值函数对动作的偏导，其中动作价值函数Qμst,a|θQ的计算公式如下： 其中，st、st+1分别表示时刻t和时刻t+1的状态，at、at+1分别表示时刻t和时刻t+1的动作，Εμ[]表示遵循策略网络μ的策略所得到的期望回报，表示从时间步t+1开始遵循策略网络μ的策略进行一系列动作所能获得的未来回报的当前价值，Gst,at表示状态st和动作at下的累积奖励，其计算公式如下： 其中，λ表示折现因子，范围为[0,1]；S2.11：判断是否m＜M，M表示预设的最大训练轮次，如果是，进入步骤S2.12，否则离线训练结束；S2.12：判断是否m％η，η表示两个目标网络软更新周期，如果是，进入步骤S2.13，否则进入步骤S2.14；S2.13：采用如下公式对两个目标网络进行动态软更新： 其中，τt表示软更新系数，τt＜＜1，其取值为训练轮次t的负相关函数；然后进入步骤S2.14；S2.14：令m＝m+1，返回步骤S2.4；S3：采集当前光伏单级逆变器的输入电压vpv、输入电流ipv、输出电压eg和输出电流ig，构建状态S＝[vpv,ipv,eg,ig]，然后采用步骤S2训练好的策略网络确定最优动作A＝[fc,Td]，根据载波频率信号fc和死区时间Td生成控制信号，对光伏单级逆变器中开关元件进行控制。

全文数据：

权利要求：

百度查询： 电子科技大学 基于动态DDPG的光伏单级逆变器控制方法和装置