恭喜哈尔滨工业大学(深圳)叶兆晖获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜哈尔滨工业大学(深圳)申请的专利基于仓储环境的多智能通信强化学习体路径规划方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115496287B 。
龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211179911.6,技术领域涉及:G06Q10/047;该发明授权基于仓储环境的多智能通信强化学习体路径规划方法及系统是由叶兆晖;李衍杰;庞玺政;付文;卢颂硕;邓琦;牟涌金设计研发完成,并于2022-11-15向国家知识产权局提交的专利申请。
本基于仓储环境的多智能通信强化学习体路径规划方法及系统在说明书摘要公布了:本发明涉及一种基于仓储环境的多智能通信强化学习体路径规划方法和系统。其中的方法包括:生成地图,获取智能体的起始点、目标点和障碍物信息并输入至神经网络,通过观测值处理模块获得智能体的自身特征,采用基于贪心的优先级对智能体进行分配,基于邻接矩阵并根据分配的优先级为每个智能体挑选邻居智能体,每个智能体接收各自挑选出的邻居智能体的通信消息并形成邻居特征,根据邻居特征与自身特征形成最终特征,将最终特征输入到决策网络模块中以生成规划路径。本发明引入通信来缓解强化学习导致的环境不平稳性,通过优先级选取通信智能体以提高有效性,引入一个新的死锁检测机制使得智能体可跳出死锁。
本发明授权基于仓储环境的多智能通信强化学习体路径规划方法及系统在权利要求书中公布了:1.一种基于仓储环境的多智能通信强化学习体路径规划方法,其特征在于,所述方法包括以下步骤:S10、生成仓储环境地图,获取每个智能体的起始点、目标点和障碍物信息并输入至基于深度强化学习的神经网络;观测值处理模块根据输入的观测值获得每个智能体的自身特征;S20、根据每个智能体的自身特征并采用基于贪心的优先级对智能体进行分配;基于邻接矩阵并根据分配的优先级为每个智能体挑选邻居智能体,每个智能体接收各自挑选出的邻居智能体的通信消息并形成邻居特征;S30、根据所述邻居特征与所述自身特征形成最终特征,将所述最终特征输入到决策网络模块中以生成规划路径;其中,所述步骤S20包括:S21、获取每个智能体的当前位置到目标位置的曼哈顿距离,将曼哈顿距离的倒数设置为智能体的优先级;S22、当两个智能体的曼哈顿距离相等时,根据两个智能体的拥挤度设定优先级;其中,所述拥挤度表示智能体视野范围内的障碍物数量;S23、获取当前智能体的通信范围,计算当前智能体与其他智能体之间的当前位置距离;将当前位置距离在所述通信范围内的其他智能体设置为邻居智能体;S24、根据设定的通信连接上限,从当前位置距离超出所述通信范围的其他智能体中选择优先级最高的智能体作为邻居智能体;S24、判断所述邻居智能体是否为已到达目标点的智能体;若是,则断开已到达目标点的邻居智能体与当前智能体的通信连接;其中,所述神经网络的训练包括有死锁检测模块,所述死锁检测模块包括以下步骤:获取智能体在过去多个时间步的自身位置情况并通过异常状态检测模块进行检测;若检测到当前智能体停留一个非目标点位置的时间为三个时间步以上,则判定所述当前智能体为停滞异常智能体;判断所述停滞异常智能体的拥挤度是否大于或者等于拥挤阈值,若是,则对停滞异常智能体进行预标记;若检测到当前智能体过去四个时间步均在两个位置来回,则判定所述当前智能体为徘徊异常智能体;判断所述徘徊异常智能体的拥挤度是否大于或者等于拥挤阈值,若是,则对徘徊异常智能体进行预标记;判断所述通信范围内是否存在两个或者以上的预标记智能体,若是,则判定所述邻接矩阵内的预标记智能体处于死锁状态;根据处于死锁状态的智能体的信息调整所述神经网络的参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学(深圳),其通讯地址为:518000 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。