买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：基于参数预训练的销孔装配DDPG强化学习加速方法，涉及机器人销孔装配任务强化学习技术领域。本发明是为了解决现有的基于销孔装配强化学习方法还存在任务针对性差，装配任务强化学习效率低导致的难以在短时间内学习到有用策略的问题。本发明包括：定义销孔装配抽象编码变量x,z,α和β；对销孔装配接触状态分类，并获取每类销孔装配接触状态几何约束，建立销孔装配位姿转移模型；利用销孔装配策略模型对DDPG强化学习网络中的Actor网络预训练，获得Actor网络参数；利用销孔装配位姿转移模型获得位姿动作价值函数Qposes,a，利用Qposes,a对Critic网络预训练获得Critic网络参数；以Actor网络参数和Critic网络参数为基础进行销孔装配强化加速学习。本发明用于销孔装配的强化学习加速。

主权项：1.基于参数预训练的销孔装配DDPG强化学习加速方法，其特征在于所述方法具体过程为：步骤一、定义销孔装配抽象编码变量x,z,α和β，并获得x,z,α和β的编码值和轴孔零件相对位姿解码方式；其中，x是孔零件地面圆心Oho距离轴零件轴线lax-axis的距离；z是Oho距离轴零件配合部分圆柱底面的距离；β是孔零件轴线lho-axis与轴零件轴线lax-axis之间的角度；α是l1与l2的夹角，l1为孔零件与轴零件接触面内与轴零件配合部分圆柱底面平行的直线，l2为垂直于由轴零件轴线lax-axis和Oho组成平面的直线；步骤二、对销孔装配接触状态进行分类，利用步骤一获得的x,z,α和β获取每种类型的销孔装配接触状态的几何约束，并利用每种类型的销孔装配接触状态的几何约束建立销孔装配位姿转移模型；步骤三、对“先对齐后插入”的销孔装配策略进行建模，并利用“先对齐后插入”的销孔装配策略模型对DDPG强化学习网络中的Actor网络进行监督学习预训练，获得预训练好的Actor网络的网络参数；步骤四、利用步骤二获得的销孔装配位姿转移模型获得位姿动作价值函数Qposes,a，并利用Qposes,a对Critic网络进行预训练获得预训练好的Critic网络的网络参数；步骤五、以步骤三获得的预训练好的Actor网络的网络参数和步骤四获得的预训练好的Critic网络的网络参数为基础进行销孔装配强化加速学习。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于参数预训练的销孔装配DDPG强化学习加速方法