买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提出了基于Q‑learning的流速估计优化方法及其应用，包括建立当前分层流速前后时刻间的状态变换模型和H‑ADCP对当前分层流速测量方程模型，以Δφk、ΔHk、Qk、Rk作为四元数，通过四维网格Q‑learning方法确定每一时刻最合适的过程噪声方差参数和测量噪声方差参数，以及状态方程未建模参数和测量方程未建模参数。根据每一时刻最合适的过程噪声方差参数和测量噪声方差参数，以及状态方程未建模参数和测量方程未建模参数，计算出各自时刻的分层流速最终估计值。本发明可提升最终估计精度。

主权项：1.基于Q-learning的流速估计优化方法，其特征在于，包括以下步骤：S00、建立当前分层流速前后时刻间的状态变换模型： 其中，为分层流速状态变量，为分层流速状态变换转移矩阵，为状态方程未建模参数，为过程噪声，满足wk~N0,Qk，Qk为过程噪声方差；建立H-ADCP对当前分层流速测量方程模型： 其中，为H-ADCP测得的实际流速数值，hk·表示测量函数，为测量噪声，满足vk~N0,Rk，ΔHk为测量方程未建模参数，Rk为测量噪声方差；S10、以、ΔHk、Qk、Rk作为四元数；S20、在初始时刻k=0时，进行初始化，令： 其中，表示参考均方根容积卡尔曼滤波的初始化估计值及相应估计误差方差矩阵；表示网格搜寻均方根容积卡尔曼滤波的初始化估计值及相应估计误差方差矩阵，参考均方根容积卡尔曼滤波方法中所选取的四元数是根据经验设定的；网格搜寻均方根容积卡尔曼滤波方法中的四元数的参数是基于Q-learning方法优化得到的；为预设参数；S30、设置Q-learning算法中的参数Qqsq,aq的初始值为0；其中，Qqsq,aq在状态sq下采取动作aq所能获得的长期累积奖励的估计值；S40、在k≥1时刻，循环t=1,2,...,T次，通过四维网格Q-learning方法确定每一时刻最合适的四元数的参数和分层流速估计值；其中，T为最大循环次数；每计算完一个时刻后，令下一时刻k=k+1，参考均方根容积卡尔曼滤波方法的过程噪声方差为，测量噪声方差为，状态方程未建模参数为，测量方程未建模参数为；令四维网格Q-learning方法的奖励函数Rq=0，；其中，通过四维网格Q-learning方法确定每一时刻最合适的四元数的参数的具体步骤为：参照经验值设置取值四维网格，每个网格对应、ΔHk、Qk、Rk的一种不同取值组合；其中，为状态变换模型的状态方程未建模参数，ΔHk为测量方程模型的测量方程未建模参数，Qk为状态变换模型的过程噪声方差，Rk为测量方程模型的测量噪声方差；根据当前、ΔHk、Qk、Rk的取值情况，通过贪婪算法选取执行动作，以决定在本次循环t中向哪一个邻居网格移动；基于，通过参考均方根容积卡尔曼滤波方法计算得到滤波信息；其中，分别为上一时刻k-1计算得到的分层流速的滤波估计值及估计误差协方差阵，分别为根据经验值预设的状态方程未建模参数、测量方程未建模参数、过程噪声方差及测量噪声方差；基于，通过网格搜寻均方根容积卡尔曼滤波方法，计算得到估计信息；其中，分别为上一时刻k-1计算得到的分层流速的滤波估计值及估计误差协方差阵，分别为第t次迭代过程中所选网格中的状态方程未建模参数、测量方程未建模参数、过程噪声方差及测量噪声方差；依据计算得到的，计算奖励函数Rq并依据奖励函数Rq迭代计算Qqsq,aq，以不断优化四元数中各个元素的取值，迭代至t=T，最终取得的四元数为；基于，计算得到当前分层流速最终估计值。

全文数据：

权利要求：

百度查询： 杭州声贝软件技术有限公司 基于Q-learning的流速估计优化方法及其应用