买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：贵州大学;贵州慧控农耀科技有限公司

摘要：本发明公开了一种基于多模态图像融合的杂草侵扰率预测方法，属于人工智能辅助精准农业检测技术领域，通过融合多模态图像，增加图像的信息量从而提高融合图像的质量。并基于融合图进行植被分割和杂草侵扰率预测。本发明由图像配准，图像融合，植被分割和杂草侵扰率预测四个模块组成。在图像配准和图像融合阶段，主要使用卷积进行特征提取和局部的细粒度对齐。而在杂草侵扰率预测模块，依赖于多层感知机良好的全局计算力，并结合多种注意力模块进行侵扰率的回归预测。本发明提出的一种基于多模态图像融合的杂草侵扰率预测方法，能重构出高质量的融合图像，并得到高精度的杂草侵扰率预测结果。

主权项：1.一种基于多模态图像融合的杂草侵扰率预测方法，其特征在于，包括以下步骤：步骤1、读入未对齐的RGB图像和红外图像进行图像转换和图像匹配，生成基于RGB图像的伪红外图像和红外配准图像；步骤2、对步骤1生成的红外配准图像和未对齐的RGB图像进行多模态图像融合，获得融合图像；步骤3、根据步骤2得到融合图像，进行植被分割，得到二值化的植被mask图像；步骤4、对得到二值化的植被mask图像进行杂草侵扰率预测，获得最终预测的杂草侵扰率；步骤2的具体过程如下：S21、接收S12中得到红外配准图像和S11中未对齐的RGB图像，使用参数共享的密集卷积模块进行特征提取，得到红外图像的特征和未对齐的RGB图像的特征；S22、根据S21中提取到的特征，计算RGB图像与红外图像融合的权重参数，得到最后的融合图像，并使用融合图像分别与RGB图像和红外配准图像的对比结果的和为MS-SSIM损失函数衡量融合图像的质量，其中MS-SSIM损失函数的具体表达式如下： ；步骤3的具体过程如下：S31、将未处理的RGB图像进行YCbCr空间映射，分离出Y、Cb与Cr通道，使用融合图像的信息替换分离出来的Y通道，然后把分离的三通道数据重新堆叠在一起重新映射到RGB空间，重构出新的融合RGB图像；S32、使用归一化植被指数NDVI对重构出新的融合RGB图像进行植被分割，具体表达式如下： ；其中，表示近红外波段，表示红色波段。

全文数据：

权利要求：

百度查询： 贵州大学 贵州慧控农耀科技有限公司 一种基于多模态图像融合的杂草侵扰率预测方法