买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本公开提供了一种基于Q‑Learning算法的自动化仓库出入库调度方法及装置，具体包括：首先建立仓库货架模型，根据订单总延迟时间和堆垛机总行程距离建立仓库出入库目标函数；然后根据仓库货架模型确定仓库货架模型的系统状态数据；并根据仓库货架模型设计基于Q‑Learning算法的仓库出入库分配模型；接着对仓库出入库分配模型进行训练，得到训练好的仓库出入库分配模型；最后将其应用于自动化仓库，并根据仓库状态数据确定所述自动化仓库的目标出入库调度策略。本公开中得到的仓库出入库分配模型可以根据自动化仓库的状态的变化采取合适的出入库调度策略，不仅可以缩短任务完成时间以提高出入库效率；还能减少堆垛机运行距离，从而降低设备能耗成本。

主权项：1.一种基于Q-Learning算法的自动化仓库出入库调度方法，其特征在于，包括：建立仓库货架模型，并根据订单总延迟时间和堆垛机总行程距离建立仓库出入库目标函数；根据所述仓库货架模型设计基于Q-Learning算法的仓库出入库分配模型；其中，所述仓库出入库分配模型包括任务选择模型、堆垛机调度模型和货位分配模型；对所述仓库出入库分配模型进行训练，得到训练好的仓库出入库分配模型；将所述训练好的仓库出入库分配模型应用于自动化仓库，并根据仓库状态数据确定所述自动化仓库的目标出入库调度策略；所述目标出入库调度策略包括任务排序策略、堆垛机工作策略和货位分配规则；所述仓库状态数据包括当前时刻等待分配的出库任务数量级别、当前时刻等待分配的入库任务数量级别、当前时刻的剩余出库任务紧急程度以及当前时刻堆垛机的平均任务队列数量；所述根据所述仓库货架模型设计基于Q-Learning算法的仓库出入库分配模型，包括：确定所述任务选择模型的任务排序策略，并根据所述任务排序策略基于所述任务选择模型确定目标任务；所述任务排序策略是出库任务优先策略、入库任务优先策略、联合出入库优先策略或等待策略中的一种；所述目标任务包括多个目标子任务；所述目标子任务是出库任务和入库任务中的一种；针对每个目标子任务，根据预先设置的堆垛机工作策略，基于所述堆垛机调度模型确定所述目标子任务对应的目标堆垛机；所述堆垛机工作策略包括任务队列最短优先策略和最早闲置时间优先策略；针对每个目标子任务，基于所述货位分配模型的货位分配规则确定所述目标子任务的目标货位；所述货位分配规则是最短距离货位优先规则或随机货物分配规则中的一种；确定所述仓库出入库分配模型的复合奖励函数；所述复合奖励函数包括订单总延迟时间奖励函数、堆垛机总行程距离奖励函数。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于Q-Learning算法的自动化仓库出入库调度方法及装置