买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜江苏大学;江苏镇安电力设备有限公司;江苏中能欣润电力科技有限公司申请的专利基于Rainbow深度Q网络的微电网能量管理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114742453B 。

龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210485042.3，技术领域涉及：G06Q10/0637；该发明授权基于Rainbow深度Q网络的微电网能量管理方法是由刘国海;左致远;陈兆岭;孙文卿;陈成友;吴振飞;张健鹏;张群峰;王传斌设计研发完成，并于2022-05-06向国家知识产权局提交的专利申请。

本基于Rainbow深度Q网络的微电网能量管理方法在说明书摘要公布了：本发明公开了一种基于Rainbow深度Q网络的微电网能量管理方法，以居民区微电网中的电动汽车和储能设备作为被控载体，将微电网一天24小时的负荷需求、光伏以及风力出力、电动汽车和储能设备的荷电状态预测数据作为Rainbow深度Q网络的状态空间输入，通过智能体学习并执行电动汽车以及储能设备的充、放电动作，从而实现以保证功率稳定和设备寿命安全的前提之下的微电网一日运行成本最低的目的。该方法由于可以解决可再生能源的随机性和间歇性导致的微电网能量管理模型建模困难，而且训练后具备快速收敛性，从而能够有效地解决由于可再生能源的不确定性、能量流动和负荷的多样性导致的微电网能量利用率低、运行成本较高的缺陷。

本发明授权基于Rainbow深度Q网络的微电网能量管理方法在权利要求书中公布了：1.基于Rainbow深度Q网络的微电网能量管理方法，其特征在于，包括如下步骤：步骤1：根据居民微电网建立与之对应的能量管理仿真模型，在日前调度阶段，获取未来一天的光伏和风能发电预测出力数据、微电网的实时负荷需求预测数据以及大电网的实时电价预测数据，将其作为模型的训练数据集；步骤2：定义强化学习中马尔科夫决策所决定的微电网能量管理仿真模型所需的训练环境，包括如下子步骤：2.1定义环境状态空间，调度当日0时至23时的负荷需求、新能源的出力功率以及电动汽车的实时荷电状态和储能设备的实时荷电状态四个部分，构成本次能量管理仿真模型所需的环境状态空间St；2.2定义智能体动作空间：通过调度所述智能体执行电动汽车和储能设备的充放电动作进行控制；2.3定义奖励函数，所述奖励函数引导所述智能体实现预定的微电网能量管理优化；2.4设置微电网后备安全控制器，所述微电网后备安全控制器用于控制所述智能体执行过充或过放误操作；2.5执行实际控制指令：所述智能体执行从Rainbow深度Q网络中学习出的动作，进行充放电操作；2.6与大电网交互：通过公共联接点与大电网相连接，在新能源出力能满足微电网负荷需求后仍有多余的时刻，将剩余的电量回馈给大电网；在新能源出力和储能设备、电动汽车以最大功率输出仍不能满足微电网负荷需求的时刻，以实时电价从大电网购电，从而实现整个微电网系统的实时功率平衡；步骤3：采用Rainbow深度Q网络，对步骤2定义的微电网能量管理模型进行训练，将0至23时分为24个调度时刻，每一小时作为一步，一幕为24时；利用该日的实时预测数据进行反复多幕的训练，直至最终的奖励函数达到收敛；步骤3包含以下子步骤：3.1构建Rainbow深度Q网络，包括以下部分：I构建包含两个全连接层和一个隐藏层的神经网络，对所有的全连接层的权重，加上一个高斯分布的噪声项进行干扰以替代原有的ε-greedy随机-贪婪探索方式，提高算法的探索合理性；II在输出层Q网络前加入一个竞争网络，将输出的Q函数拆分成价值函数V状态下所有Q值的平均数和优势函数A被限制平均为0的数之和；具体公式如下： 其中，α和β分别为价值函数网络层和优势函数网络层的参数，1|A|为优势函数的平均值；III搭建两个Q网络作为神经网络最后的输出层，将动作选择和价值估计进行解耦，一个网络用于对状态下所有动作的评估，另一个用于具体动作的选择，用以改善自举所造成的过估计误差；IV使用多步学习Muti-stepLearning方法更新Q网络，用以加速Q网络的收敛，公式如下： 其中，n为更新的步幅长度，w为神经网络参数，γ为折扣率；3.2优先经验回放池：设定一个容量固定的经验池，将所述智能体已经训练过的每一组数据st,at,rt,st+1存放入经验回放池中，并根据之前训练时所造成的误差大小，用公式排列优先度来评估每一组数据重新送入神经网络中训练的顺序和概率，目的是增加数据的利用率以及减小相邻数据的相关性，具体采样公式如下式所示： 其中，Xi为这一组经验在之前训练时所造成的误差值，ε为防止pi为0的噪声，z为退火因子，用以调节优先度；步骤4：将步骤3训练完毕的智能体应用于该日的微电网能量管理，在进行每一幕的训练时，将每一个调度时刻的模型状态空间数据输入神经网络，得出该状态空间下每一个可执行动作的动作价值函数；通过横向比较每个动作的动作价值函数选出最优动作并将其转化为实际指令，从而控制储能设备以及电动汽车的充放电操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏大学;江苏镇安电力设备有限公司;江苏中能欣润电力科技有限公司，其通讯地址为：212013 江苏省镇江市学府路301号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。