买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华南理工大学申请的专利一种针对智能体长程连续控制任务的离线示教学习系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115437241B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210976248.6，技术领域涉及：G05B13/02；该发明授权一种针对智能体长程连续控制任务的离线示教学习系统是由董敏;曹瑞东;毕盛;江煊璐设计研发完成，并于2022-08-15向国家知识产权局提交的专利申请。

本一种针对智能体长程连续控制任务的离线示教学习系统在说明书摘要公布了：本发明公开了一种针对智能体长程连续控制任务的离线示教学习系统，包括：长程候选路径规划器模块，负责根据任务环境中被操纵物体和智能体的初始状态生成多条包含多个子目标状态的候选路径；最优路径选择模块，负责对生成的多条候选路径进行价值评估，从中选出价值最高的一条路径作为最优路径；子目标约束下的最优动作选择模块，负责以最优路径作为指导路径，以指导路径上的单个子目标状态为约束，根据当前操纵物体和智能体状态生成智能体的动作到达新的状态，在进行多次状态转换后，更换子目标直至跟踪完指导路径上的所有子目标状态，完成对被操纵物体的长程连续控制任务。本发明有利于智能体在真实环境下利用人类示教数据进行离线学习。

本发明授权一种针对智能体长程连续控制任务的离线示教学习系统在权利要求书中公布了：1.一种针对智能体长程连续控制任务的离线示教学习系统，其特征在于，包括：长程候选路径规划器模块，负责根据任务环境中被操纵物体和智能体的初始状态生成多条包含多个子目标状态的候选路径；其中，所述智能体通过其机械臂对被操纵物体进行操纵；最优路径选择模块，负责对长程候选路径规划器模块生成的多条候选路径进行价值评估，从中选出价值最高的一条路径作为最优路径；子目标约束下的最优动作选择模块，负责以最优路径选择模块所筛选出的最优路径作为指导路径，以指导路径上的单个子目标状态为约束，根据当前操纵物体和智能体状态生成智能体的动作到达新的状态，在进行多次状态转换后，更换子目标直至跟踪完指导路径上的所有子目标状态，从而完成对被操纵物体的长程连续控制任务；所述长程候选路径规划器模块为条件变分自动编码器结构，包含编码器和解码器，具体情况如下：所述编码器由一个包含两层全连接层的多层感知机MLP、一个包含两个隐藏层和一个全连接层的LSTM网络以及两个全连接层分支构成，只作用于长程候选路径规划器模块的训练阶段；所述解码器由一个包含两层全连接层的多层感知机、一个包含两个隐藏层和一个全连接层的LSTM网络以及一个全连接层构成；在所述长程候选路径规划器模块的训练阶段，预先操纵智能体从环境中收集多条示教轨迹作为训练数据集，每条示教轨迹表示为PI＝{s0,a0,r0,s1,a1,r1,s2,a2,r2,...,sn,an,rn}，其中sn,an,rn表示第I条示教轨迹PI在第n时刻的参数，sn为被操纵物体和智能体的状态，由被操纵物体的位置和朝向参数以及智能体的机械臂关节角度构成，s0为被操纵物体和智能体的初始状态，s1为初始状态s0之后智能体执行动作达到的新状态，s2为状态s1之后智能体执行动作达到的新状态，an为智能体在状态sn下执行的动作，即智能体的机械臂的各关节期望到达的下一位置，rn为智能体在环境中获得的奖励，奖励使用新状态与期望到达的目标状态之间的距离作为度量；在所述长程候选路径规划器模块的训练阶段，所述编码器以从示教轨迹中稀疏采样得到的初始状态和子目标状态序列的原始值作为输入，表示子目标状态序列原始值中的第ti个子目标状态，i＝1,2,3,...,H，经多层感知机和LSTM网络后，再分别经由两个全连接层输出μs和σs；从以μs为期望、σs为标准差的高斯分布中采样一个隐变量z′，所述解码器以隐变量z′和初始状态作为输入，输出子目标状态序列的预测值表示子目标状态序列预测值中的第ti个子目标状态，i＝1,2,3,...,H，以子目标状态序列的原始值和预测值间的均方差以及高斯分布Nμs,σs和标准高斯分布N0,1之间的KL散度之和为损失函数训练所述长程候选路径规划器模块，损失函数如下： 训练后的长程候选路径规划器模块关闭其解码器，从标准高斯分布中采样T个隐变量z，将每个隐变量z和初始状态s0作为输入，通过其编码器预测子目标状态序列，1个隐变量z对应1个子目标状态序列，T个子目标状态序列作为候选路径。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。