买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖北省楚天云有限公司;华中科技大学

摘要：本发明提供一种云与多边缘网络节点协同的微服务部署方法，包括：对云与多边缘网络节点协同的网络拓扑结构和由微服务节点、分布式数据库、多种通信方式组成的应用程序进行建模，获得微服务部署模型；以端到端时延、资源消耗、部署成功率为优化目标，基于裁剪高斯近似的汤普森采样探索机制和多步训练的资格跟踪策略的强化学习算法对微服务部署模型进行训练；基于收敛后的微服务部署模型，得到针对当前网络环境和请求的微服务最优部署方案。本发明通过设计基于裁剪高斯近似的汤普森采样探索策略和资格跟踪机制的强化学习算法以在满足端到端时延的基础上最小化资源消耗为目标解决了云与多边缘网络节点协同场景下的微服务部署问题。

主权项：1.一种云与多边缘网络节点协同的微服务部署方法，其特征在于，包括：对云与多边缘网络节点协同的网络拓扑结构和由微服务节点、分布式数据库、多种复杂通信方式组成的应用程序进行建模，获得云与多边缘网络节点协同的微服务部署模型；基于所述云与多边缘网络节点协同的网络拓扑结构和微服务部署模型以优化微服务应用程序部署结构的端到端时延、资源消耗、部署成功率为优化目标构建微服务部署模型的强化学习训练环境与部署方案评价指标；基于裁剪高斯近似的汤普森采样探索机制和多步训练的资格跟踪策略的强化学习算法对微服务部署模型进行训练，得到收敛的云与多边缘网络节点协同的微服务部署模型；训练完成后，将云与多边缘协同的网络拓扑结构的当前网络环境和用户应用程序请求的特征信息输入收敛后的微服务部署模型中，得到针对当前网络环境和请求的微服务最优部署方案；所述基于裁剪高斯近似的汤普森采样探索机制和多步训练的资格跟踪策略的强化学习算法对微服务部署模型进行训练，得到收敛的云与多边缘网络节点协同的微服务部署模型，包括：定义云与多边缘网络节点协同的网络拓扑结构的状态空间、动作空间和基于采取动作计算评价指标的奖励函数；获取云与多边缘网络节点协同的网络拓扑结构的当前状态，根据当前状态，基于裁剪高斯近似的汤普森采样探索机制得到部署动作，并根据奖励函数计算部署动作对应的奖励，以及获取动作后的下一个状态，得到四元组，所述四元组包括当前状态，动作、奖励、下一个状态；基于四元组对微服务部署模型进行训练，在训练的过程中，基于资格跟踪策略进行微服务部署模型的损失函数的计算和梯度更新，获取训练后的微服务部署模型，所述微服务部署模型为深度Q网络；所述定义云与多边缘网络节点协同的网络拓扑结构的状态空间、动作空间和奖励函数，包括：确定当前云计算中心和多边缘网络节点的网络拓扑特征信息、需要部署的应用程序请求微服务信息以及应用请求程序通信结构信息，所述当前云计算中心和多边缘网络节点的网络拓扑特征信息包括各边缘网络节点的、内存资源剩余数量、最大数量的二维特征向量、各节点间表示网络连接状态的数据传输带宽相邻矩阵和各节点的CPU频率，所述需要部署的应用程序请求微服务信息包括当前待部署的微服务编号、需要占用的、内存、单体微服务计算所需的CPU周期，请求到达率和可容忍最大端到端时延，所述应用请求程序通信结构信息包括在不同进程之间传递信息的IPC通信方式、依靠TCPIP完整网络协议连接的Http请求或封装Netty的中间件通信方式和通过分布式中间件消息发布订阅模式的MQ通信方式；将当前云计算中心和多边缘网络节点的网络拓扑特征信息、需要部署的用户微服务应用请求信息以及应用请求程序通信结构信息的时延因子作为状态空间；在每个行动时间，将部署动作定义为应用请求的单体微服务部署的目标服务器节点，动作表示为： ；其中为每一个边缘网络节点，为云计算中心，表示数据库，为当前需要部署的单体微服务；定义基于采取动作计算评价指标的奖励函数，包括： ； ； ；式中，权重因子表示调整部署过程中每个微服务单体节点的对时延影响的重要程度；当在满足资源约束的前提下将单体微服务部署成功将获得的奖励，当整个微服务应用部署完成时，在成功部署单体服务的基础上获得的奖励；当部署动作失败时，依据当前微服务在整个应用架构中的重要程度给予惩罚； 为数据回传时延、为部署方案的成本消耗、为第步的成本消耗、为第1步的成本消耗、为的总时延、为第步的总时延、为部署微服务请求的最后一个节点、R为稀疏后的奖励函数，为部署成本影响因子，为接入和回传时延影响因子，为时延影响因子，为当前动作导致部署失败的情况下的影响因子；所述根据当前状态，基于裁剪高斯近似的汤普森采样探索机制得到部署动作，包括：将网络函数中的参数在贝叶斯框架下的建模为： ；其中，是状态动作对的特征向量，s表示状态，a表示动作；计算网络函数的似然函数为： ；其中，是在时刻获得的奖励，和分别是时刻和1的状态，是在时刻选择的动作，表示智能体与环境交互得到奖励路径的采样样本；使用多元高斯分布来估计网络函数的参数： ；通过均值和协方差矩阵来表示多源高斯分布的后验分布形状： ；其中，是均值向量，是协方差矩阵，参数更新策略如下： ；Σ协方差矩阵更新策略如下： ；其中为强化学习算法中的学习速率；使用高斯似然函数进一步表示动作空间在参数下的概率为： ；其中，是噪声的方差，为观测到的奖励；通过规定标准差的方式裁剪高斯近似后的后验函数来规定安全区，裁剪算子如下： ；其中为高斯分布的均值，为衰减因子；基于安全区裁剪的汤普森采样动作选择策略如下： ；基于汤普森采样动作选择策略，根据双网络结构输出的动作确定最优部署动作；所述在训练的过程中，基于资格跟踪策略进行微服务部署模型的损失函数的计算和梯度更新，包括：存储步的状态、动作、奖励组合数据，计算从第一步到第n步的资格追踪回报值，计算公式如下： ；其中表示环境状态处于模型估算的状态价值，为折扣因子，用于控制智能体对未来奖励的重视程度；按照下式更新资格跟踪的后向视图： ；其中是资格跟踪的参数；计算状态转换后的TD误差： ；在添加资格跟踪后的损失函数定义为： 。

全文数据：

权利要求：

百度查询： 湖北省楚天云有限公司 华中科技大学 一种云与多边缘网络节点协同的微服务部署方法