买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州大学

摘要：本发明公开了一种基于Sarsa安全模型的无人自动小车的控制方法，包括如下步骤：初始化，选择初始状态和初始动作；将初始状态置为当前状态，将初始动作置为当前动作；执行当前动作，无人自动小车进入下一状态并获得回报值；对约束函数进行线性处理；用拉格朗日乘数法求解无人自动小车处于下一状态时可执行的下一安全最优动作；完成Q值函数、状态空间和动作空间的更新。本发明将多维约束进行线性化，可以保证状态‑动作值函数和约束函数可求导，并且避免在求解过程中无人自动小车无法获得最佳动作，然后采用拉格朗日乘数法进行求解，提高了无人自动小车在当前状态下选择安全最优动作的效率和精确度。

主权项：1.一种基于Sarsa安全模型的无人自动小车的控制方法，其特征在于，包括如下步骤：S1、初始化状态-动作值函数Qx，u，其中，u∈Ux，获取步长α、回报值R、折扣因子γ、策略参数ε、权重参数β，初始化状态空间X和动作空间U，选择初始状态和初始动作；S2将初始状态置为当前状态x，将初始动作置为当前动作u；S3、执行当前动作u，无人自动小车进入下一状态x′并获得回报值R；S4、对约束函数进行线性处理；S5、用拉格朗日乘数法求解无人自动小车处于下一状态x′时可执行的下一安全最优动作u*；S6、完成Q值函数、状态空间X和动作空间U的更新；S7、判断下状态是否为目标状态，如是，则结束本次控制，如否，则进入步骤S8；S8、将下一状态x′置为当前状态x，将下一安全最优动作u*置为当前动作u，回到步骤S3；Sarsa安全模型满足如下公式：x′＝fx，u，表示无人自动小车处于当前状态x执行动作u后进入下一状态x′的概率；Sarsa安全模型满足如下公式： 表示下一状态x′是否满足安全约束，可以由当前状态x和执行的当前动作u决定，即下一状态x′是安全的是因为无人自动小车所处的当前状态x是安全的，当前动作u是安全动作；符号指符号左边的内容被定义为右边的内容；采用如下公式对约束函数进行线性处理： 其中，符号≈表示左边由右边近似得到；下标t表示无人自动小车运动的时间；上标T表示对向量或矩阵做转置运算；gxt；ωi表示以xt作为输入，输出和ut有相同维数的一个向量；采用如下公式计算ωi： D＝{xt，ut，x′t}，表示集合D由三元组xt，ut，x′t组成，表示智能体在当前状态xt，执行当前动作ut进入下一状态x′t，目标函数的最优解在集合D中找到；Sarsa安全模型满足如下条件： 其中： 为目标函数； 为约束函数；s.t.表示满足，即目标函数在优化的过程中满足约束函数；下标t和t+1表示无人自动小车运动的时间；i表示第i个约束；Ci为一个常量值；采用如下公式计算下一安全最优动作： 其中，满足的当前状态xt和当前动作ut是局部最优解，该局部最优解用梯度下降法求得，局部最优解是全局最优解；λi是拉格朗日不定乘子，代表约束函数变化时，目标函数的变动；所述状态为位置，所述动作为向某个方向移动；所述无人自动小车包括控制装置、转向驱动装置以及移动驱动装置，所述控制装置为所述Sarsa安全模型。

全文数据：

权利要求：

百度查询： 苏州大学 一种基于Sarsa安全模型的无人自动小车的控制方法