买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河北工业大学

摘要：本发明公开一种基于域适应的雷达图像船舶检测网络模型及检测方法，该船舶检测网络模型利用域适应领域的知识，实现了光学图像到雷达图像的知识迁移。利用傅里叶变换原理，生成伪雷达图像，端到端地实现光学图像到雷达图像的风格迁移，达到无需繁杂人工后处理的目。利用编码器结构，将特征分解为域相似特征和域不变特征。同时，为了使分解效果更加准确，使用风格迁移后的图片对齐域相似特征。通过以上方法解决两个域外观上相差过大的问题。本发明检测方法在一定程度上解决了雷达图像样本少、标注难的问题，实现了即使缺少雷达样本标注，也可以进行船舶检测。

主权项：1.一种基于域适应的雷达图像船舶检测网络模型，其特征在于，该船舶检测网络模型包括特征提取网络G、对抗训练模块、一致性调整模块、区域候选网络、第一ROIPooling层、第二ROIPooling层、区域分类网络R1、区域分类网络R2、船舶原型对齐模块；特征提取网络G包含ResNet-101网络结构中的conv1、conv2_x、conv3_x、conv4_x四个网络块，该四个网络块的设置同ResNet-101网络结构中的完全相同，输入图像经过特征提取网络G的处理后，输出相当于原图像132大小的特征图F1；区域候选网络的输入为特征图F1，区域候选网络首先通过一个conv2d3*3的卷积层对特征图F1进行一次卷积处理得到中间层特征图；该中间层特征图的每个位置都有9个不同尺寸的anchorbox；然后将anchorbox分别输入到两个conv2d1*1的卷积层分支进行处理，一个分支使用softmax进行二分类，判断该anchorbox内是否存在物体，有则为positive，没有则为negative；另一个分支进行边框回归，使anchorbox的边框更接近groundtruth的框，然后根据两个分支输出加原始图片信息生成若干数量的锚框，最终经过NMS筛选出N个候选框，每个候选框带有自身特征信息，包括该框的位置信息和该框对应的前景与背景概率信息；对抗训练模块的输入为特征图F1，对抗训练模块包括梯度反转层和域分类器，梯度反转层连接在特征提取网络与域分类器之间，梯度反转层在反向传播过程中将梯度取反；梯度反转层将特征图F1原样正向传递给域分类器，域分类器首先使用3×3的卷积层对输入的特征图F1进行三次降维操作，使特征图F1的维度从1024降为128，每个卷积后都使用批归一化处理，接着继续用全连接层得到一个二分类的分类结果，非线性激活处理采用ReLU函数；分类结果表示域分类器判断该特征图F1来自源域还是目标域；对抗训练模块的损失如下： 其中，为带标注的光学图像域的第i个样本；为雷达图像域的第i个样本，ns和nt分别为带标注的光学图像域和不含标注的雷达图像域的样本数量；G代表特征提取网络，Dg代表域分类器；一致性调整模块的输入为特征图F1，一致性调整模块的对齐编码器对特征图F1进行降维、升维和激励操作，卷积核大小均为5×5，步长为1，边缘填充为2，并使用ReLU函数学习通道之间的非线性相互作用，输出特征图F2；特征图F2与特征图F1大小完全相同；一致性调整模块的损失公式描述为： 其中，为带标注的光学图像域的第i个样本，为该样本经过风格迁移后生成的伪雷达图像，E代表对齐编码器，G代表特征提取网络，||·||指欧式距离计算；第一ROIPooling层的输入为区域候选网络输出的候选框和特征图F1，经过第一ROIPooling层处理后，所有的候选框统一调整为相同大小的特征图M1；特征图M1经过区域分类网络R1的第一个全连接层处理，得到每个框对应的特征向量V1；第二ROIPooling层的输入为区域候选网络输出的候选框和特征图F2，经过第二ROIPooling层处理后，所有的候选框统一调整为相同大小的特征图M2；特征图M2经过区域分类网络R2的第一个全连接层处理，得到每个框对应的特征向量V2；区域分类网络R1的输入为第一ROIPooling层输出的特征图M1，第一ROIPooling层输出的特征图M1经过区域分类网络R1处理后，得到各框的类别与位置信息，最终经过非极大值抑制算法得到预测的结果，为基础特征检测结果；区域分类网络R2的输入为第二ROIPooling层输出的特征图M2，第二ROIPooling层输出的特征图M2经过区域分类网络R2处理后，得到各框的类别与位置信息，最终经过非极大值抑制算法得到预测的结果，为域不变特征检测结果；区域分类网络R1与区域分类网络R2的结构相同，均为三个全连接层的结构，但不共享参数，网络的输入首先输入到第一个全连接层中，第一个全连接层的输出分别输入到另外两个全连接层，该两个全连接层分别输出候选框的位置和分类；船舶原型对齐模块包括前景框过滤器和船舶原型计算器，船舶原型对齐模块的输入为特征向量V1和特征向量V2；船舶原型对齐模块的前景框过滤器首先分别对输入的特征向量V1和V2进行过滤，具体为对输入的每个前景框重赋权，然后再输入船舶原型计算器进行船舶原型向量计算；前景框过滤器及重赋权操作公式描述如下： 船舶原型计算器： 公式8与公式9中，wi,j代表第i张图像的第j个候选框在计算船舶原型向量时的权重，为特征向量V1中第i张图像的第j个候选框的前景置信度，为特征向量V2中第i张图像的第j个候选框的前景置信度；N为候选框的总数量，ri，j表示第i张图像的第j个候选框，FC·表示特征向量V1中属于该框的特征向量；Pi表示第i张图像计算出的船舶原型向量；船舶原型对齐模块的损失函数为：Lp＝||Psi-Pti||10其中，Psi为带标注的光学图像域的第i张图像计算出的船舶原型向量，Pti为雷达图像域的第i张图像计算出的船舶原型向量，||·||指欧式距离计算；通过减小二者的距离来对齐光学图像域和雷达图像域的语义信息；该船舶检测网络模型的损失函数L为区域候选网络、区域分类网络、对抗训练模块、一致性调整模块、船舶原型对齐模块的各部分的损失函数的加权之和，公式为： 其中，LRPN为区域候选网络的分类和回归损失，为区域分类网络R1、R2的分类和回归损失，LDA为对抗训练模块的损失函数；Lconsis为一致性调整模块的损失函数；Lp为船舶原型对齐模块的损失函数；λ1，λ2，λ3为训练过程中为不同部分损失赋予的超参；其中，区域候选网络的分类和回归损失及区域分类网络R1、R2的分类和回归损失由带标注的光学图像域进行计算，雷达图像不带标签，不参与计算。

全文数据：

权利要求：

百度查询： 河北工业大学 一种基于域适应的雷达图像船舶检测网络模型及检测方法