买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于RIS辅助的MU‑MISO通信系统的智能波束成形设计方法，提出了一种基于CSI的DDPG模型，用于联合优化基站的主动发射波束成形矩阵和RIS的反射系数向量，利用强化学习技术，通过与环境的交互，自适应地优化通信系统的波束成形参数，从而在实际信道条件下实现最优传输性能。本发明提出的算法在不同发射功率和RIS反射单元数量下均表现出良好的鲁棒性和收敛性，显著提高了MU‑MISO通信系统的传输速率。此外，该算法能够有效应对快速变化的信道环境，为RIS在实际无线通信系统中的应用提供了重要支持。本发明通过将强化学习与波束成形技术相结合，提出了一种高效的联合优化方法，为未来6G通信系统的发展提供了新思路，具有重要的应用前景和实际价值。

主权项：1.一种基于深度强化学习的RIS辅助MU-MISO通信系统智能波束成形方法，其特征在于，包括以下步骤：步骤1：构建以最大化多用户和速率为目标的可重构智能表面RIS反射系数优化模型；具体的，假设配置M根天线的基站，为K个单天线用户分别提供不同的通信业务，系统采用配置N个反射单元RIS设备辅助增强通信系统业务传输性能；基站和各个用户之间的直视信道链路被障碍物遮挡，和分别表示为基站到RIS、RIS到第k个用户之间的复衰落信道；表示RIS的反射系数向量，其中表示第n个反射单元的相移，j为虚数单位；受到实际硬件限制，RIS反射单元的相移是在[0,2π随机分布的离散相移，比特信息b控制一个反射单元，反射单元可调节的相位状态共有B＝2b种；RIS通过智能控制器独立调整每一个反射单元相移，每个反射单元的离散集合表示为： 其中Δw＝2πB；信号在下行传输时，基站同时发射多路数据流，会对非目标用户产生干扰，用户k处的接收信号表示为： 其中Φ＝diagθ表示RIS的反射系数矩阵，数学运算符diagθ表示提取向量θ的元素，返回一个以θ元素值为对角线元素的对角矩阵Φ；表示基站传输给K个用户的信号向量；发射信号能量归一化，即数学操作符||·||表示向量2范数，是期望运算操作符；wk是基站主动发射波束成形矩阵W的第k列向量，用户k处接收到噪声nk服从均值为0方差为的复高斯分布；假设所有用户均具有相同的噪声方差，即其中是用户k期望接收的信号，表示其他用户nn≠k的业务信号对用户k造成的干扰信号；第k个用户处的接收信干噪比SignaltoInterferenceplusNoiseRatio，SINR可以表示为： 考虑基站的有限发射功率，在发射功率阈值约束下，满足： 其中，为发射信号功率，Pt为发射功率阈值；通过联合设计基站的主动发射波束成形矩阵W和RIS的反射单元系数矩阵Φ，构建以最大化多用户和速率R为目标的RIS反射系数优化模型，具体的优化问题表示为： s.t.Tr{WWH}≤Pt,式二 其中，R为多用户通信速率和；步骤2：训练DDPG模型，更新模型参数；具体的，DDPG模型包括训练动作网络a＝qs|ωa、目标动作网络a′＝qs′|ωa、训练评价网络Qs,a|ωc、目标评价网络Qs′,a′|ωc′以及经验回放池；其中s表示状态，a表示动作，ωa、ωa′、ωc和ωc′分别为对应网络的参数；训练中，DDPG模型中训练评价网络参数ωc通过下式更新： 其中，上标t表示在第t时刻下，γc是训练评价网络的学习率，a'是目标动作网络的连续动作输出，是对应训练评价网络参数的梯度，表示损失函数；和分别表示训练评价网络和目标评价网络的参数；r表示奖励，μ∈0,1]表示折扣率；Q表示深度强化学习中状态-动作价值函数；随后进行训练动作网络参数ωa的更新，其过程为： 其中γa是训练动作网络的学习率；是以为训练参数；是表示目标评价网络对动作a的梯度，是训练动作网络针对其参数的梯度；步骤3：目标动作网络和目标评价网络的更新采取了软更新机制，其分别表示为： 其中，τc和τa分别代表更新目标评价网络参数和目标动作网络参数的学习率；步骤4：在基于RIS辅助的MU-MISO通信系统中应用DDPG模型，将强化学习的关键元素进行自适应调整；步骤5：当DDPG在经过设定的最大训练轮次时，输出最优的主动发射波束成形矩阵W和RIS有限离散相移反射系数向量θ。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于深度强化学习的RIS辅助MU-MISO通信系统智能波束成形方法