买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：创新先进技术有限公司

摘要：本文公开了用于生成执行设备的动作选择方针ASP的方法、系统和装置。一种方法包括，在当前迭代中，基于在当前状态下的动作各自的第一奖励以及当前迭代中当前状态的动作选择方针，计算当前状态的第一奖励；基于该动作的对应第一奖励与当前状态的第一奖励之差，计算当前状态下每个动作的累对应计遗憾值；计算下一次迭代中当前状态的动作选择方针；基于动作的对应第一奖励和下一次迭代中当前状态的动作选择方针，计算当前状态的第二奖励；以及基于当前状态的第二奖励，确定下一次迭代中前一状态的动作选择方针。

主权项：1.一种执行设备的计算机实现方法，用于生成动作选择方针，以在包括所述执行设备以及一个或多个其他设备的环境中完成任务，所述方法包括：在多次迭代中的当前迭代，获得所述当前迭代中当前状态的动作选择方针，其中，所述动作选择方针包括从所述当前状态下的多个可能动作中选择动作的对应概率，其中，所述当前状态是由所述执行设备在前一状态下采取的前一动作导致的，并且当所述执行设备在所述当前状态下时，所述多个可能动作中的每个动作如果被所述执行设备所执行，将导致下一对应状态；获得所述当前状态下的每个动作的对应第一奖励，其中，每个动作的对应第一奖励表示所述动作带来的有助于完成所述任务的收益；基于所述动作各自的第一奖励以及所述当前迭代中所述当前状态的动作选择方针，计算所述当前状态的第一奖励，其中，所述当前状态的第一奖励表示所述当前状态带来的有助于完成所述任务的收益；基于前一次迭代中每个动作的对应累计遗憾值，以及该动作的对应第一奖励与所述当前状态的第一奖励之差，计算所述当前迭代中所述当前状态下的所述多个可能动作中的每个动作的对应累计遗憾值；基于所述当前迭代中所述当前状态下的每个动作的对应累计遗憾值，计算下一次迭代中所述当前状态的动作选择方针；基于经所述下一次迭代中在所述当前状态下选择动作的对应概率所加权的所述动作各自的第一奖励之和，计算所述当前状态的第二奖励；将导致所述当前状态的在所述前一状态下的所述前一动作的第一奖励替换为所述当前状态中有助于完成所述任务的节点的第二奖励；基于所述当前状态的第二奖励确定所述下一次迭代中所述前一状态的动作选择方针；以及响应于确定满足收敛条件，基于所述下一次迭代中所述前一状态的动作选择方针控制所述执行设备的动作，其中，所述动作选择方针用于实现设备动作控制、产品服务推荐或交通路线规划。

全文数据：

权利要求：

百度查询： 创新先进技术有限公司 确定执行设备的动作选择方针的方法和装置