买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：桂林电子科技大学

摘要：本发明公开了一种基于DFLLOD‑Net的低照度叠加雾天气下的目标检测方法，所述方法包括如下步骤：1构建低照度有雾图像数据集ExDark‑fog；2设计了低照度增强模块，提升图像在低光照条件下的亮度和对比度；3设计了去雾增强模块，有效去除雾气对图像清晰度的影响；4设计了去噪增强模块，减少图像噪声，增强图像质量；5设计了条件自适应模块，能够基于图像中的雾密度和光照强度等条件，自适应地调整权重，以优化协同以上三个不同增强处理模块的功能表现；6经过增强处理后的图像输入检测模块。DFLLOD‑Net网络通过这些高度专业化的模块和端到端的训练策略，实现了从图像预处理到目标检测的全流程自动化和最优化，极大提升了模型在复杂视觉条件下的性能和鲁棒性，为低照度叠加雾天气下的目标检测提供了一种创新的解决方案。

主权项：1.一种基于DFLLOD-Net的低照度叠加雾天气下的目标检测方法，其特征包括以下方法步骤：1构建低照度有雾图像数据集ExDark-fog，包括下述步骤：1.1基于公开的ExDark数据集包含7363张图像，覆盖了12个不同的目标类别，这些图像均在多种低照度条件下拍摄；1.2利用Monodepth2网络对ExDark数据集中的每张图像进行深度估计，生成深度图；结合深度图和雾浓度系数生成传输；1.3应用大气散射模型，合成有雾图像；1.4经过合成得到ExDark-fog图像数据集的所有图像尺寸统一调整为640x640x3像素，ExDark-fog数据集划分为训练集、测试集和验证集，比例分别为34、18和18。2低照度增强模块Low-LightEnhancementModule，LEM的设计，如图2所示，包括下述步骤：2.1首先将ExDark-fog数据集中的低照度有雾图像以及它们的自注意力特征输入到编码模块EncodingModule，如图2所示。该模块由三个低照度自适应编码块Low-LightAdaptiveEncodingBlock，LAEB组成，如图3所示。每个LAEB利用一系列卷积层，包括1×1、3×3和5×5的卷积核，后接GeLU激活函数，以及1×1卷积核进行通道混合。此外，每个LAEB还包含一个下采样模块DownSample，该模块采用步长为2的3×3卷积核和ReLU激活函数来降低特征图的空间尺寸。2.2在EncodingModule的处理后，特征数据接着被送入潜空间采样模块LatentSpaceSamplingModule,LSSM，如图2所示。在这个模块中，首先应用统计计算算子对特征进行分析，从中计算得到均值μ和方差σ。利用这些统计数，生成采样特征样本z。2.3在潜空间采样模块LSSM成功获取特征样本后，这些样本与通过自注意力机制提取的特征相结合。结合后的特征随后被送入解码模块DecodingModule，如图2所示。解码模块由三个低照度自适应解码块Low-LightAdaptiveDecodingBlock，LADB组成，如图3所示，每个LADB内部配备有3×3卷积核用于特征细化，GeLU激活函数引入非线性，以及3×3反卷积核配合上采样层，逐步恢复图像的高分辨率。2.4将DecodingModule的输出通过与输入进行相加，得到增强后的特征图。3去雾增强模块FogRemovalEnhancementModule，FREM的设计，如图4所示，包括下述步骤：3.1将ExDark-fog低照度有雾的图像送入去雾增强模块FREM，首先该模块由两个卷积层组成，每个卷积层使用3×3卷积核，步长为l，从而提取图像的初步特征。3.2将3.1初步提取的特征送入多尺度特征提取模块Multi-scaleFeaturesMSF，如图4所示。该模块由三个连续的多尺度特征提取单元Multi-scaleFeatureUnitMSFU组成，如图5所示，每个单元包含四个并行分支，分别通过不同尺寸的卷积核提取不同尺度的特征，并通过Concat、ReLU激活函数增强模型对图像多尺度信息的捕捉能力。3.3在3.2的MSF模块完成多尺度特征提取之后，紧接着引入了CSAChannelandSpatialAttention注意力模块，如图6所示。该CSA模块设计为两个并行的分支：通道注意力CA分支和空间注意力SA分支。CA分支采用全局池化操作后接全连接层，以此生成反映不同通道重要性的通道注意力图。而SA分支则通过1×1卷积来捕获全局上下文信息，并进一步通过全局平均池化和全局最大池化来生成空间注意力图。3.4在CSA注意力模块处理完毕后，网络结构继续进行两个阶段的跳跃连接，如图4所示。首先，利用1×1卷积核对特征通道进行降维或升维处理，确保不同层级产生的输出特征图在维度上能够兼容。随后，通过3×3卷积核进一步实现通道匹配，并将这些特征图相加以融合，从而在不同层级之间整合信息，增强整体的特征表示能力。4设计去噪增强模块DenoisingEnhancementModule，DEM，如图7所示，包括下述步骤：4.1将ExDark-fog低照度有雾天气条件的图像送入到去噪增强模块DEM，首先经过一个CBR，再分为两个分支进行去噪增强：第一个分支先1×1再引入了全连接层和Sigmoid激活函数来生成注意力图。然后，通过1×1卷积层调整通道数，以便与第二个分支的特征图进行融合。4.2第二个分支首先通过1×1卷积层调整通道数，以适应后续处理需求。然后，通过3×3卷积层和步长为2的下采样降低特征图的空间维度，同时开始去噪过程。接下来，特征图经过两次3×3卷积层，步长为1并使用填充为1，将下采样层的输出与卷积块的输出逐通道、逐像素相加。此结构重复三次，深化特征提取和去噪过程。最后一次循环后，通过3×3反卷积层和步长为2进行上采样，恢复特征图的空间尺寸，同时确保去噪效果在所有尺度上保持一致。4.3两个分支提取到的特征在通道维度上进行Concat合并，并通过一个3×3卷积层以及随后的1×1卷积层进一步整合特征，确保最终输出的特征图在去噪的同时，丰富了图像的信息并增强了表达能力。5条件自适应模块ConditionalAdaptiveModule，CAM的设计，如图1所示，包括下述步骤：5.1首先，接收ExDark-fog低照度有雾天气条件的图像输入。图像首先通过一个初步特征提取层，使用3×3卷积核和步长1进行卷积。5.2将5.1特征进入深层特征分析，由三个卷积层Conv1、Conv2、Conv3级联构成，分别具有3×3、5×5和7×7卷积核，步长为1、2和2。每个卷积层后接批量归一化和LeakyReLU激活函数，以深入分析图像特征。5.3将5.2深层特征分析的输出通过3×3平均池化层降维，并通过1×1卷积进行特征压缩。5.4降维后的特征随后被送入一个全连接层生成条件编码，该编码量化表示图像的光照和雾密度等条件。经过全连接和softmax函数生成得到W1、W2、W3权重向量，确保权重和为1。5.5权重向量与LEM、FREM和DEM模块输出进行相乘再相加，再经过1×1卷积，调整成通道数为3。6注意力目标检测模块Attention-basedObjectDetectionModule，AODM的设计，如图1所示，包括下述步骤：6.1将5.5输出的特征图送入到AODM目标检测模块中，该模块首先经过四个CBS模块进行特征提取，随后通过C2f模块，获得的初步特征表示为C1；C1进一步经过下采样SCDown和C2f模块，得到的结果表示为C2；C2继续通过下采样SCDown、C2f以及SPPFELAN模块进行处理，得到的结果表示为C3；SPPFELAN模块结构，如图8所示，用于增强特征提取能力。6.2将6.1中的C3经过上采样与C2进行特征拼接，随后通过C2f模块，其结果表示为C4；C4继续通过上采样与C1进行特征融合，其结果表示为C5，实现了不同分辨率特征的有效整合；接着，C5再通过CBS进行处理，并与C4进行拼接操作，将拼接后的结果再通过C2f模块，其结果表示为C6；最终，C6通过下采样SCDown后与C3进行拼接，结果表示为C7；这一过程不仅实现了跨尺度特征的融合，也优化了特征的层次结构。6.3将6.2中的C5、C6、C7分别进入送入注意力机制增强卷积模块Attention-EnhancedConvolutionBlockAECB模块，如图9所示。该模块是一种结合了卷积操作和注意力机制，用于捕获图像的局部特征和全局上下文信息。6.4经过AECB模块处理的特征随后送入检测头进行目标检测。7对整个DFLLOD-Net的低照度叠加雾天气下的目标检测网络的测试，包括下述步骤：7.1将ExDark-fog数据集送入到DFLLOD-Net的低照度增强模块LEM、去雾增强模块FREM和去噪增强模块DEM中进行增强处理；7.2利用条件自适应模块CAM根据图像的光照和雾密度条件动态调整7.1模块的权重，以优化图像增强效果；7.3将7.2得到的增强后的图像送入注意力目标检测模块AODM中进行特征提取和目标检测；7.4将检测到的结果可视化。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于DFLLOD-Net的低照度叠加雾天气下的目标检测方法