买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜成都华云智慧科技有限公司申请的专利智能小车集群控制方法、装置、系统及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115079694B 。

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210663987.X，技术领域涉及：G05D1/43；该发明授权智能小车集群控制方法、装置、系统及存储介质是由黄忠;高凤设计研发完成，并于2022-06-13向国家知识产权局提交的专利申请。

本智能小车集群控制方法、装置、系统及存储介质在说明书摘要公布了：本发明公开了一种智能小车集群控制方法、装置、系统及存储介质，该方法在对多智能体强化学习的策略进行选取时，不去寻找纳什均衡点，而是使得每个智能体的动作遗憾最小化，同时在更新Q值的时候，使用下一个状态中遗憾最小的动作的Q值作为更新的一部分，最终使得智能体能够学习到遗憾最小化的策略，进而驱动智能小车集群中的每个智能小车执行对应的动作。本发明通过改进传统多智能体强化学习中的策略选取部分，采用遗憾最小化策略来选择动作，每个智能体做出的动作不再是贪心的选择最优的动作，最终的联合动作不再满足纳什均衡，在纳什均衡不能很好解决的一些特定场景下，具有更好的控制求解结果。

本发明授权智能小车集群控制方法、装置、系统及存储介质在权利要求书中公布了：1.一种智能小车集群控制方法，其特征在于，所述方法包括：建立多智能体强化学习模型，初始化环境中的多个智能体，将智能体的Q表中所有状态的值初始化为0；获取状态S，利用∈-greedy策略选取目标动作；驱动智能体执行目标动作，以使环境转移到状态S’，并获取环境转移到状态S’时对每个智能体的奖励；根据所述奖励与状态S’下遗憾值最小的动作的Q值，更新每个智能体在状态S’下选取相应的动作的Q值，并根据每个智能体的Q值驱动智能小车执行对应的动作；所述状态S’下遗憾值最小的动作的Q值的获取，具体包括：获取当前动作空间的遗憾值，对所有智能体的联合动作空间进行迭代遗憾最小化操作；根据所有智能体的迭代遗憾最小化操作结果，确定状态S’下遗憾值最小的动作的Q值；所述获取当前动作空间的遗憾值步骤，具体包括：根据智能体i采取动作a时的遗憾值，获得当前动作空间的遗憾值；获取当前联合动作下的遗憾值，确定智能体i采取动作a时的遗憾值步骤中：所述当前联合动作下的遗憾值的表达式，具体为： 所述智能体i采取动作a时的遗憾值的表达式，具体为： 所述当前动作空间的遗憾值的表达式，具体为： 其中，为动作空间Ai中遗憾值最小的动作的遗憾值，ai为智能体i的动作，a-i表示其他智能体的动作，Qi为智能体的状态-动作的收益值，Ai是智能体i的所有可选动作的集合；返回执行获取状态S，利用∈-greedy策略选取目标动作步骤，直至状态S为终止状态。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人成都华云智慧科技有限公司，其通讯地址为：610041 四川省成都市中国(四川)自由贸易试验区成都高新区天府五街200号1号楼201室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。