买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南苍树航天科技有限公司

摘要：本发明公开了一种海空集群对抗的推演仿真系统及方法、设备、存储介质，所述推演仿真系统通过将深度强化学习系统部署在一台服务器上，将仿真系统分别部署在多台计算节点上，多台计算节点与服务器通过网络连接，每台计算节点的仿真系统中运行多个仿真系统实例，从而构建了一个并行分布式的网络架构，实现了分布式并行和加速，并具有良好的扩展性。所述深度强化学习系统可以从这个并行分布式的仿真架构中获取大量样本数据进行训练，使得训练样本的生成速度和算法的学习效率大大提高，并且仿真系统和深度强化学习系统采用模块化设计，具有良好的扩展性，便于定制化设计。

主权项：1.一种海空集群对抗的推演仿真方法，采用的推演仿真系统包括仿真系统和深度强化学习系统，所述仿真系统部署在多台计算节点上，所述深度强化学习系统部署在一台服务器上，多台计算节点与服务器通过网络连接，每台计算节点的仿真系统中运行多个仿真系统实例；所述仿真系统包括用于设置作战对抗初始状态和作战任务的想定模块，用于生成海空集群交战的战场环境模型的海空环境设定模块，用于生成海空集群交战的海空装备模型的海空装备设定模块，用于对海空装备模型的交火行为进行裁决、给出海空装备模型的受损信息并更新其状态的交战裁决模块，以及用于与深度强化学习系统进行信息交互的外部访问接口；所述深度强化学习系统包括深度强化学习算法模块和接口封装模块，所述深度强化学习算法模块用于通过所述仿真系统的外部访问接口控制多个仿真系统实例的运行、读取每个仿真系统实例的战场态势信息，基于读取的战场态势信息对神经网络模型进行训练，并利用神经网络模型输出每个仿真系统实例的海空集群联合动作，所述接口封装模块用于将神经网络模型输出的海空集群联合动作转换为仿真系统实例的作战命令，并通过调用外部访问接口将作战命令传输至对应的仿真系统，所述仿真系统根据接收的作战命令对运行的多个仿真系统实例进行控制并更新状态；所述仿真系统采用定步长的时间推进方式，在每个步长，所述深度强化学习系统通过仿真系统的外部访问接口控制仿真系统实例运行、获取战场态势信息和下发任务命令；所述想定模块设置作战对抗初始状态和作战任务的过程为：新建想定，输入想定名称；输入想定基本信息，包括想定推演方及其敌对关系、作战仿真开始结束时间、想定描述，推演双方中的一方由所述深度强化学习算法模块进行控制，另一方由预先制定的作战规划或预设算法进行控制；设置作战区域；部署作战兵力；设置条令规则，包括兵力和武器装备的交战规则；设计由非深度强化学习算法控制的推演方的作战任务；保存想定；所述海空装备设定模块包括机动模型设定单元、侦查模型设定单元、火力模型设定单元和任务处理单元，所述机动模型设定单元用于设定海空装备模型的机动能力，所述侦查模型设定单元用于设定海空装备模型的侦查能力，所述火力模型设定单元用于设定海空装备模型的作战武器，所述任务处理单元用于基于所述机动模型设定单元、侦查模型设定单元、火力模型设定单元的设定信息生成海空装备模型；所述交战裁决模块对海空装备模型的交火行为进行裁决、给出海空装备模型的受损信息并更新其状态的过程具体为：加载作战武器信息、目标信息、环境信息、武器到目标的距离信息；基于加载的信息和击中概率计算规则计算击中概率；采用随机数生成器生成0到1的随机数；将随机数与计算得到的击中概率进行比较，若随机数小于等于击中概率则判定为击中，否则判定为未击中；基于击中次数和预设的毁伤计算规则进行毁伤计算，并输出毁伤结果；所述外部访问接口包括系统控制接口、态势获取接口和控制命令接口，所述系统控制接口用于供所述深度强化学习系统控制仿真系统实例的启动、停止和加载想定，所述态势获取接口用于供所述深度强化学习系统获取仿真系统实例的战场态势信息，所述控制命令接口用于接收所述深度强化学习系统发送的作战命令并进行对应响应；其特征在于，所述推演仿真方法包括以下内容：通过深度强化学习系统调用多个仿真系统的外部访问接口，开启多个仿真系统实例；仿真系统实例启动后加载想定，海空装备状态进行初始化；初始化深度神经网络的参数；在每个时间步，通过深度强化学习系统调用仿真系统的外部访问接口，获取仿真系统实例的战场态势信息并作为训练样本收集起来；当训练样本的数量超过设定的阈值时，对神经网络模型进行训练，训练完成后保存模型，并利用训练的神经网络模型为不同的仿真系统实例生成作战行动；当训练样本的数量未达到阈值时，则使用初始化的神经网络模型为不同的仿真系统实例生成作战行动；通过接口封装模块将作战行动转换为作战命令，并调用对应的外部访问接口将作战命令传输至相应的仿真系统；仿真系统执行作战命令并更新仿真系统实例的状态，若对战完成则重新加载想定进行下一局的推演仿真；当训练的神经网络模型收敛后，保存训练好的神经网络模型。

全文数据：

权利要求：

百度查询： 湖南苍树航天科技有限公司 海空集群对抗的推演仿真系统及方法、设备、存储介质