买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：桂林电子科技大学

摘要：本发明公开了一种基于CQD蒸馏的低照度目标检测方法，包括以下步骤：1）获取低照度图像数据集ExDark，并进行处理和划分得到训练集ExDark‑Train和测试集ExDark‑Test；2）将ExDark‑Train数据输入到CQD‑Net中进行蒸馏学习；3）采用CQD蒸馏方法，利用训练好的教师网络对学生网络进行低照度知识蒸馏优化学生网络；4）目标检测。这种方法能够将低光照环境下的教师网络的知识蒸馏到学生网络中，压缩了学生网络大小的同时，使得学生网络也能具备有效的低照度图像目标检测能力，提升了其在低照度环境下的目标检测准确度。本发明能够有效选取待蒸馏区域，提升蒸馏效率，且在不改变学生网络结构，不增加计算消耗的前提下提升最终的轻量化目标检测网络的检测精度。

主权项：1.一种基于CQD蒸馏的低照度目标检测方法，其特征在于，包括如下步骤：1对低照度图像数据集ExDark进行处理和划分：将ExDark数据集按8:2的比例划分，其中80％为训练集ExDark-Train、共5891张图片，20％为测试集ExDark-Test，共1472张图片；2将所有低照度训练集ExDark-Train图片送入到CQD-Net中，即训练集图片分别通过学生网络和训练好的教师网络各自的BackBone之后，在FPN层进行多尺度的特征提取，将学生网络和训练好的教师网络FPN层提取的特征使用CQD蒸馏，将训练好的教师网络掌握的低照度目标检测知识蒸馏到学生网络中，使得学生网络也具备低照度图像的目标检测能力，具体为：2-1将训练好的教师网络以及需要蒸馏的学生网络各自的FPN层提取出的特征，记为F1和F2，进行低照度图像信息的蒸馏；2-2将步骤2-1中提取出的图像特征F1和F2分别送入AdaptiveLayer和拆分向量量化层LiVQ-Layer，进行拆分向量量化蒸馏SplitVector-QuantifiedDistillation，其中AdaptiveLayer将输入特征F1送入一个核大小为1×1的卷积层将通道数降为3、此时的结果记为A1，然后在通道维度上做softmax得到的结果与A1做对应位置的相乘作为中间结果，中间结果经过一个1×1的卷积，将通道数还原为与F1一致得到输出ZT，拆分向量量化层LiVQ-Layer先经过核大小为1×1的卷积层把输入特征F2的通道数降为3，模拟RGB中的三个颜色分量，然后划分通道，每一个通道对应一个分支，接着通过三个独立的VQ-Block对每一个分支输入的特征进行量化，图像量化结果的值经过softmax之后与未经过VQ-Block量化的特征进行对应位置的相乘作为该分支的结果，再把3个分支的输出在通道维度进行拼接，最后经过一个核大小1×1的卷积将通道数提升到与F2的通道数一致得到拆分向量量化层LiVQ-Layer的输出ZS，对ZT和ZS采用逐像素的MSELoss计算学习到的知识的差异；2-3将步骤2-1中教师网络和学生网络提取出的图像特征分别送入两个独立的MSLS-Layer，进行多视图注意力蒸馏Multi-ViewAttentionDistillation，MSLS-Layer首先将输入特征F通过1×1的卷积层压缩通道数为1，再对H×W大小的特征图进行softmax，得到的结果与F做对应位置的乘积作为下一个阶段的输入，记为M1，将M1分别通过三个1×1的卷积层，分别得到H×W，H2×W2和H4×W4大小的特征图，再分别通过三个独立的DIF-Block，提取得到三个H×W，H2×W2和H4×W4大小的低照度视图，将教师网络和学生网络通过MSLS-Layer各自得到的三个不同大小的低照度视图、同尺寸的视图采用逐像素的MSELoss计算，最后三个不同大小的视图求得MSELoss所相加的和作为蒸馏的损失；2-4基于CQD蒸馏的低照度目标检测训练过程中总的损失函数如公式1所示： 公式1中的损失函数由3部分组成，第一部分进行多视图注意力蒸馏Multi-ViewAttentionDistillation，即教师网络和学生网络经过MSLS-Layer之后得到的3个不同尺寸的低照度视图、相同尺寸的低照度视图求MSELoss然后相加得到多视图注意力蒸馏损失；第二部分为学生网络通过LiVQ-Layer中的三个独立的VQ-Block进行量化时所需的CommitmentLoss的和，即将VQ-Block的输入和量化得到的结果逐像素的求差之后取2范数的平方，公式1中sg指的是取消该项的反向传播带来的梯度；第三部分进行拆分向量量化蒸馏SplitVector-QuantifiedDistillation，即将教师网络通过AdaptiveLayer得到的ZT和学生网络通过LiVQ-Layer得到ZS之间的做逐像素的MSE作为拆分量化蒸馏损失，α，β，γ四个超参数分别控制三个不同部分在总的损失L中的比例，分别取α＝0.005，β＝0.0001，γ＝0.005；3将所有低照度测试集ExDark-Test图片送入到训练好的低照度目标检测学生网络，输出检测结果。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于CQD蒸馏的低照度目标检测方法