买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京邮电大学

摘要：本发明公开了一种基于自监督预训练大模型的高动态范围成像方法，属于计算机视觉图像技术领域。本发明结合自监督预训练大模型设计了新的高动态范围成像管线，包含基于充分先验的大模型特征提取与赋权叠加、语义融合校正、重建等模块，通过各模块的依次工作，使得多个不同曝光经过预对齐和特征提取后比对语义信息，融合校正到参考图像，共同生成一个无鬼影的高动态范围图像。本发明设计合理，充分利用了大规模图像数据集中的语义信息作为先验来提取得到更优质、便于分析融合的图像特征和利用语义分割信息为鬼影区域作权重干预，减少鬼影的产生同时提升了高动态范围成像的精度。

主权项：1.基于自监督预训练大模型的高动态范围成像方法，其特征在于包括以下步骤:1从互联网通过爬取、筛选等方式获取大规模数据集，并使用公开多模态预训练大模型得到其特征表示然后经去重处理得到预训练数据集，随后采用公开的自监督大模型预训练方法对通用的视觉大模型骨架进行预训练，并加上用于图像分割任务的公开预训练投影头；2高动态范围成像任务数据集中包含若干场景，每个场景含一组x张不同曝光的图像，选取中等曝光值作为参考图像；3将每组x个低动态范围图像经过所述步骤1中训练好的大模型骨架和公开分割头，得到含分割信息的图像，然后将所述步骤2中的参考图像和其他x-1张图像的分割结果分别进行比较，生成渐变消失权重掩码并叠加以进行掩膜预对齐，得到预对齐图像后使其分别经过伽马映射公式转换至高动态范围域并与原本的预对齐图像拼接在一起，然后将其切分为多组图像子块并经过一个m×n卷积层得到x个初始浅层特征，再次经过大模型骨架提取得到预对齐特征；4将所述步骤3中得到的预对齐特征输入语义融合校正网络，通过交叉注意力对各曝光的掩膜预对齐进行融合，并以参考图像预对齐特征和浅层特征为准进行校正和层次丰富的强化，得到去鬼影中间特征；5将参考图像的初始特征经过m×n卷积跳连到去鬼影中间特征，得到参考图像强化过的强化特征；6将强化特征作为输入，通过上采样层和归一化函数，以对去鬼影图像进行高质量重建，得到无鬼影的高动态范围图像；7构建高动态范围去鬼影数据集；输入低动态范围图像至基于自监督预训练大模型的高动态范围成像模型，得到网络输出；损失函数为特征空间感知损失和平均绝对损失加权组合而成，以此来监督网络的训练过程，优化模型参数；8获取待合成的三张低动态范围图像，输入模型并得到最终的无鬼影高动态范围图像。

全文数据：

权利要求：

百度查询： 北京邮电大学 基于自监督预训练大模型的高动态范围成像方法