买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：曲阜师范大学

摘要：本发明一种永磁直驱型风电机组的深度强化学习控制方法，属风电领域。采用深度强化学习TD3算法，设计转速跟踪控制器：根据永磁同步风力发电机的环境状态构建基于TD3算法的智能体，环境状态包括发电机转速及其参考值、定子电流、定子电压、定子电感、定子电阻、永磁体转子磁链、定子绕组温度、风速及其变化率，设计奖励函数，确定风速和发电机训练条件，对智能体进行训练，将训练好的智能体模型移植入机侧变流器的主控芯片，建立实际转速跟踪控制系统，实现转速跟踪控制。本发明可有效应对风速波动及发电机自身参数变化对风电机组控制的影响，实现永磁同步风力发电机的快速稳定安全控制。

主权项：1.一种永磁直驱型风电机组的深度强化学习控制方法，所述永磁直驱型风电机组，包括：永磁同步风力发电机、机侧变流器；所述永磁同步风力发电机的定子与所述机侧变流器相连；其特征在于，采用如下步骤：步骤1，确定所述永磁同步风力发电机的环境状态：所述环境状态包括所述永磁同步风力发电机的转子旋转角速度ωt及其参考值ωm,r，所述永磁同步风力发电机的定子电流的d轴分量id及q轴分量iq，所述永磁同步风力发电机的定子电压的d轴分量ud及q轴分量uq，所述永磁同步风力发电机的定子电感L、定子绕组电阻R、转子永磁体磁链ψf，所述永磁同步风力发电机的定子绕组的温度Tst，风速vw及风速变化率将所述环境状态记为St，则有步骤2，设计奖励函数：所述奖励函数Rt设计为：Rt＝Rfast+Rsmooth+RT1式中，Rfast为转速跟踪奖励函数，Rsmooth为转速波动抑制及畸变率奖励函数，RT为温升奖励函数；Rfast定义为：Rfast＝R1|ωm,r-ωt|,|ωm,r-ωt|≥0.2rads2式中，R1为转速跟踪权重系数，用来实现快速减小转速跟踪误差；Rsmooth定义为： 式中，R2为畸变率速动权重系数，用来实现畸变率最小化，id*、iq*分别为所述永磁同步风力发电机的定子电流的d轴分量id及q轴分量iq的参考值，Ad1为电流差值的基准值；R3为稳定权重系数，用来减小发电机的转速波动；ωt-l为所述永磁同步风力发电机的前第l时刻的转速，L为抑制波动的时间上限，l和L均为正整数；RT定义为：RT＝R4Tal-TstAd24式中，R4为定子绕组温度权重系数，Tst为所述永磁同步风力发电机的定子绕组的温度，Tal为所述永磁同步风力发电机的定子绕组的允许温度，Ad2为温度差值的基准值；步骤3，根据所述环境状态构建基于TD3算法的智能体：所述智能体由策略网络和策略评价网络构成；所述策略网络由Actor网络及ActorTarget网络组成，分别通过对应的网络策略πSt|θ和πtaSt|θta实现所述智能体的动作输出AtSt|θ；所述策略评价网络由Critic网络及CriticTarget网络组成，分别通过对应的价值函数和h＝1,2，评估用于实现动作输出的策略并对其进行提升，其中θ，θta，分别表示Actor网络、ActorTarget网络、Critic网络和CriticTarget网络的权重系数；步骤4，对所述智能体进行训练：A1.确定训练环境，包括风速训练条件和发电机参数训练条件，其中，风速训练条件：在实际风速曲线中每隔1s插入随机风速噪声δvw，按式5计算得到训练风速v’w，并在一个新训练回合开始时通过δvw按式5重置v’w； 式中，δvw服从平均分布U；vwn为额定风速；wd为偏差宽度，wd≥1；发电机参数训练条件：为了保证所述智能体能够在发电机参数变化的情况下仍具有优异性能，每训练回合开始时，按式6训练所述永磁同步风力发电机的参数G’s，其中，s＝1,2,3，分别代表所述永磁同步风力发电机的定子电感L、定子绕组电阻R及转子永磁体磁链ψf，通过对Gs添加随机参数变化附加项δGs，按式6计算得到G’s；同样在新训练回合开始时通过δGs按式6更新G’s，并通过最大附加因子gmax和最小附加因子gmin确定Gs的上限和下限； 式中，δGs服从平均分布U；wg为偏差宽度，wg≥1；A2.创建所述智能体与环境信息交互的接口，对所述智能体的网络权值参数进行初始化，设置所述智能体训练的相关参数，具体如下：初始化所述Actor主网络、所述Critic主网络的权值参数θ、以及其对应的目标网络ActorTarget网络、目标网络CriticTarget网络的权值参数θta、h＝1,2；设置所述Actor主网络的学习率α；设置深度强化学习的折扣因子γ；设置训练的最大回合数N，每个训练回合中的最大步数T，目标网络ActorTarget网络和CriticTarget网络的更新频率I，Critic网络的权值更新频率Ip、Ita；加载实际风速vw、风速偏差噪声δvw、所述永磁同步风力发电机的参数Gs及其随机参数变化附加项δGs；设置并初始化经验数据库；A3.在每一个训练回合开始后，首先根据实际风速vw、风速偏差噪声δvw、所述永磁同步风力发电机的参数Gs及其随机参数变化附加项δGs分别按式5、式6确定本训练回合的风速训练条件v’wk和发电机参数训练条件G’sk，k＝1,2,…,N；v’wk为第k个训练回合的v’w；G’sk为第k个训练回合的Gs；A4.基于所述当前状态St，为防止网络策略πSt|θ陷入局部最优，对所述Actor主网络的输出添加动作探索噪声Nt，得到动作AtSt|θ，提供了向“更优”探索的机会，即：AtSt|θ＝πSt|θ+Nt7式中，πSt|θ所述Actor网络的输出；Nt为期望为0、方差为σ2的正态分布，即：Nt满足： A5.每一步动作执行后，得到下一时刻的环境状态St+1，同时按式1计算得到奖励函数Rt，随后所述智能体观测得到下一时刻的状态St+1，并将环境状态St、动作AtSt|θ、奖励函数值Rt、下一时刻的环境状态St+1作为一个经验数据组存储至所述经验记忆库中；A6.从经验数据库中随机均匀采样M个小批量样本，即M个经验数据组Sti,Ati,Rti,Sti+1，其中i＝1,2,3,…,M；A7.以最小化误差的方式更新Critic主网络的权值参数即 式中，Yti为期望目标价值函数，定义为： 式中，ε表示目标平滑噪声，是被截断的正态分布噪声，即： 式中，σclip为标准差，c为截断因子；A8.以延迟更新方式更新所述Actor网络、ActorTarget网络、CriticTarget网络的权值参数θ、θta和具体来说，Critic网络的权值每更新Ip次，Actor网络权值参数θ更新一次。Critic网络的权值每更新Ita次，ActorTarget网络、CriticTarget网络的权值参数θta和更新一次；如果训练步数为所述Critic网络的更新频率Ip的倍数，则进入步骤A9，否则进入步骤A11；Ip、Ita为更新频率，均为正整数，且ItaIp；A9.通过对预期期望J进行梯度上升更新所述Actor网络的权值参数θ，即 式中，J的表达式为： 表示J对θ求导： 式中，表示πSti|θ对θ求导；A10.如果训练步数为所述Critic网络的更新频率Ita的倍数，则通过指数平滑方式按式15对所述ActorTarget网络的权值参数θta和所述CriticTarget网络的权值参数进行更新，即： 式中，τ为更新因子，τ≤1；A11.如果训练步数未达到每个训练回合的最大步数T，则返回步骤A4；否则当前训练回合结束，同时保存本次训练回合得到的智能体模型，且计算并保存本次训练回合的平均奖励函数值Re；A12.如果连续n个训练回合的平均奖励函数值Re的绝对值均小于等于Rset，其中Rset是一个接近于0的正实数，则结束整个训练过程；否则进入步骤A13；A13.判断是否达到最大训练回合数N，如果达到，则结束整个训练过程，重新训练；如未达到，则返回步骤A3并开始下一训练回合；步骤5，将训练好的所述智能体模型移植入所述机侧变流器的主控芯片，建立基于所述机侧变流器的主控芯片的实际转速控制系统，实现转速控制，输出所述永磁同步风力发电机的定子电流q轴分量iq的参考值iq*；步骤6，采用零d轴电流控制策略和电流前馈解耦控制策略，设计所述机侧变流器的内环电流跟踪控制器，实现所述永磁同步风力发电机的电流跟踪控制，具体过程为：61将步骤5得到的输出AtSt|θ，即所述永磁同步风力发电机的定子电流q轴分量iq的参考值iq*，将之与其实际值iq作差输入第一PI控制器，所述第一PI控制器的输出与q轴前馈解耦补偿项-Riq-ωeLdid+ωeψf相加，得到所述永磁同步风力发电机的定子电压的q轴分量uq的参考值uq*；其中，ωe为所述永磁同步风力发电机的转子电角速度，Ld是定子电感的d轴分量；62令所述永磁同步风力发电机的定子电流的d轴分量id的参考值id*＝0，并将之与其实际值id作差输入第二PI控制器，所述第二PI控制器与d轴前馈解耦补偿项-Rid+ωeLqiq相加，得到所述永磁同步风力发电机的定子电压的d轴分量ud的参考值ud*；其中，Lq是定子电感的q轴分量；步骤7，将步骤6得到的所述永磁同步风力发电机的定子电压参考值ud*、uq*经dqαβ坐标变换得到uα*、uβ*；然后，将uα*和uβ*经SVPWM模块调制后产生驱动信号，驱动所述机侧变流器的功率开关管，控制所述永磁同步风力发电机工作。

全文数据：

权利要求：

百度查询： 曲阜师范大学 一种永磁直驱型风电机组的深度强化学习控制方法