买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江恒隆智慧科技集团有限公司

摘要：本发明公开了基于预测及经验回放的DDQN的空调系统综合能耗优化方法，属于建筑节能技术领域，先根据空调系统的物理参数构建一个基于神经网络的能耗预测模型；再将空调能耗优化过程转化为马尔可夫决策过程；然后根据马尔可夫决策过程构建基于深度Q神经网络的能耗优化模型；最后训练所述基于深度Q神经网络的能耗优化模型，运行软件优化设定温度，获取空调运行策略，实现能耗消耗的最优化。本发明通过确立规则对探索空间进行缩减，从而确保智能体在探索过程中避免损害设备，同时尽可能的满足被控区域舒适度的要求。

主权项：1.基于预测及经验回放的DDQN的空调系统综合能耗优化方法，其特征在于：包括如下步骤：S1、根据空调系统的物理参数构建一个基于神经网络的能耗预测模型，进行空调能耗优化；所述能耗预测模型的输入参数包括日期、时间、室外温度、室内温度、室内相对湿度、设定制热温度、设定制冷温度、制热与室外的温差、制冷与室外的温差、室内体积，输出参数为空调系统的能耗；S2、将空调能耗优化过程转化为马尔可夫决策过程；S3、根据马尔可夫决策过程构建基于深度Q神经网络的能耗优化模型；S4、训练所述基于深度Q神经网络的能耗优化模型，运行软件优化设定温度，获取空调运行策略，实现能耗消耗的最优化；步骤S1具体为：在空调系统中部署多种传感器，传感器负责从物理环境中感知和收集空调系统的物理参数；然后将收集到的数据进行聚合和处理；最后使用处理后的数据集训练设备能耗预测模型；所述能耗预测模型使用了七层隐藏层，每层隐藏层的神经元数量分别为：256，128，256，128，256，128，256；所述能耗预测模型为： （1）其中，=s，是输入向量；至是每层神经元的输出向量；是对一整层神经网络函数的抽象表示；表示单个神经元的输出，由公式根据上一层的计算得到； （2）其中，是神经元所在层数，是层神经原的序号，是的权重向量，是向量转置，让转换为行向量方便与向量相乘，是神经元偏置，用来抑制神经元信号的参数；为激活函数；激活函数为： （3）损失函数为： （4）其中，表示训练数据的数量，表示每个训练数据的真实输出，表示能耗预测模型对的预测值；步骤S2中，所述马尔可夫决策的状态构建的101维的数组，其中包含空调能耗模型的10个输入参数值；动作a为空调设定温度，动作空间[-2，+2]，间隔0.5的设定温度改变量；环境反馈相应的奖励为： （5） 是在采取动作后从当前状态过渡到下一个状态所实现的能耗减少的奖励；状态转换与终止：使用MLP构造了一个能耗预测模型，其中标签为能耗的归一化值，特征为能耗预测模型的输入参数；基于策略调整空调设定温度，使用能耗预测模型更新能耗值；对于终止条件，训练的时候记录最大奖励值，在探索空间超过95%后，观察最大奖励值是否增加，在连续10次迭代未超过最大奖励值时，输出最大奖励值时的结果；步骤S3中，给定时间的累积奖励由即时奖励和贴现后的未来奖励组成，表示为： （6）式中，是一个贴现因子；累积奖励的迭代公式为： （7）将状态下采取动作a的期望值记为Qs,a，Q与之间存在如下关系： （8）根据式（6）-（8），利用蒙特卡罗近似，推导出时间差分法中Q值的更新规则为： （9）式中，表示学习率，影响更新速度；在DDQN中，引入ω作为神经网络的参数： （10）根据式（9）-（10），推导出DDQN的值函数更新机制如下： （11）式中，，为TD目标值。

全文数据：

权利要求：

百度查询： 浙江恒隆智慧科技集团有限公司 基于预测及经验回放的DDQN的空调系统综合能耗优化方法