买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜重庆大学申请的专利一种基于多策略深度强化学习的云制造服务组合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114331754B 。

龙图腾网通过国家知识产权局官网在2025-02-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111589813.5，技术领域涉及：G06Q50/04；该发明授权一种基于多策略深度强化学习的云制造服务组合方法是由曾骏;姚娟;于扬;吴映波设计研发完成，并于2021-12-23向国家知识产权局提交的专利申请。

本一种基于多策略深度强化学习的云制造服务组合方法在说明书摘要公布了：本发明涉及一种基于多策略深度强化学习的云制造服务组合方法，该方法结合基本DQN算法、竞争结构、双估计器和优先回放机制，同时还在模型中加入了一些策略，如奖励策略，ε‑greedy策略和启发式策略，来提高算法的性能。启发式策略可以屏蔽不可用服务，克服了由于超参数和奖励设计不合理导致DLR无法恢复到稳定状态的缺点。奖励可以让DLR可以根据真实奖励值来有效调整参数，ε‑greedy策略使算法有机会跳出局部最优。实验表明该模型不仅具有对动态环境适应性强的优点，而且比其他深度强化学习方法更好。

本发明授权一种基于多策略深度强化学习的云制造服务组合方法在权利要求书中公布了：1.一种基于多策略深度强化学习的云制造服务组合方法，其特征在于：包括如下步骤：S1：通过现有方法获取虚拟数据集，该虚拟数据集由多个服务组成；设一个任务T由n个子任务构成，一个子任务对应一个服务集，服务集中的一个服务对应一个动作，每个服务具有多个QoS属性值，所述QoS属性值是取[0.7,0.95]之间的任一数据值；定义：T＝{t1,t2,…ti…tn}，ti表示T的第i个子任务,i＝1,2，…n； 表示子任务ti对应的第μ个服务，μ＝1,2，…c； 表示子任务ti对应的第μ个服务所对应的动作； 表示子任务ti对应的第μ个服务QoS属性值，该第μ个服务QoS属性值是对第μ个服务对应的多个QoS属性值进行归一化后得到的；m1为当前任务T求得的服务链中所有服务QoS值的算术平均值；m2为间隔设定时间后，当前任务T求得的服务链中所有服务QoS值的算术平均值；对第μ个服务对应的多个QoS属性值进行归一化得到第μ个服务QoS属性值的过程如下：第μ个服务对应的QoS属性值包括积极属性值和消极属性值；第μ个服务对应的积极属性值的归一化计算公式如下： 第μ个服务对应的消极属性值的归一化计算公式如下： 其中，和分别代表第μ个服务的多个QoS属性值中最小QoS属性值和最大QoS属性值，qμ是第μ个服务的多个QoS属性值的聚合值；S2：构建Multi-D3QN模型，将DQN算法的网络结构修改为竞争结构，将DQN算法的随机采样机制修改为优先回放机制，并在学习阶段将单估计器修改为双估计器；Multi-D3QN模型还包括模型Q-network和模型Q-target；S3：初始化Multi-D3QN模型的参数，初始m1＝m2＝0，初始化经验池D，设定优先级，初始化模型Q-network的动作值函数Q，初始化模型Q-target的动作值函数Q*；S4：从虚拟数据集中随机选择一个任务T；S5：令k＝1；S6：令i＝1；S7：如果m1m2，则执行S8-1；否则执行S8-4；S8-1：选取ti的最优动作步骤如下：判断ti对应的服务集中所有的服务的QoS属性值是否小于0：如果ti对应的第μ个服务的QoS属性值小于0，则表示有不可用服务，并执行下一步；如果ti对应的第μ个服务的QoS属性值大于或等于0，则执行S8-4；S8-2：随机生成一个概率x1，ε1表示预设概率，如果x1ε1，则准最优动作并执行下一步，其中，θ表示动作值函数Q的参数；否则在中随机选择一个动作作为准最优动作并执行下一步；S8-3：判断准最优动作对应的服务的QoS属性值否小于0：如果准最优动作对应的服务的QoS属性值小于0则屏蔽对应的服务，并重新随机选择一个动作作为否则将动作作为并执行S8；S8-4：随机生成一个概率x2，ε2表示预设概率：如果x2ε2，则最优动作并执行下一步，其中，θ表示动作值函数Q的参数；否则在中随机选择一个动作作为准最优动作S9：执行并将ti对应的服务集将ti对应的服务集中所有服务的QoS属性值和ti的下一个服务集作为一个样本存入D中，所述样本表示为S10：判断D中的样本是否到达最大容量，如果没有到达在执行下一步，否则执行S12S11：判断i是否大于n，如果是则执行下一步，否则令i＝1+1并返回S8；S12：判断j是否大于最大迭代次数，如果是将输出对应的每个服务均作为最优服务，输出和最优服务组成的服务链；否则令k＝k+1，计算m1和m2，并更新m1和m2并返回S6；S13：利用S8得到的样本训练模型Q-network，并返回S10。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆大学，其通讯地址为：400044 重庆市沙坪坝区沙正街174号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。