买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学;福建医科大学附属协和医院

摘要：本发明涉及一种目标先验信息指导的多尺度加权融合目标检测方法及系统，该方法包括以下步骤：首先使用卷积神经网络进行特征提取，然后对目标尺寸、颜色及形状角度先验信息进行基于尺度大小的聚类，使用聚类结果得到的权重来指导多尺度特征的加权融合，使得多尺度检测在目标具有多种形态、大小的场景下能够更有针对性地学习目标尺度的分布；其次在多尺度动态加权融合之后，引入尺度特征贡献度微调来进一步学习多尺度特征图的贡献度，并使用先验信息权重引导初始化；最后将多尺度输出传入分类与回归两个子网络进行目标物体的定位与分类。该方法及系统可以有效地利用目标的先验信息解决目标尺度不均衡问题，提高目标检测的准确性。

主权项：1.一种目标先验信息指导的多尺度加权融合目标检测方法，其特征在于，包括以下步骤：S1、获取具有目标对象的图片，建立目标图片数据集，并对各个场景下存在的目标对象进行标注；S2、对数据样本进行增强处理，利用目标样本的尺寸、颜色及形状角度先验信息进行基于尺度大小的聚类，获得多尺度输出特征图对应的权重；将图片输入卷积神经网络进行特征提取，并进行K个尺度的输出；S3、将得到的权重作为K个尺度的加权融合系数，进行动态融合，并调整到权重最大的尺度，然后再使用高斯非局部注意力来精炼该特征，最后调整回原先的特征图大小，得到动态融合的特征图输出；S4、对得到的多个特征图输出信息进一步引入可学习的参数进行尺度特征贡献度微调，并使用目标先验信息聚类所得的权重进行引导初始化，得到多尺度加权融合步骤输出的有效特征图信息；S5、将有效特征图输入ClassPredictionNet分类子网络和BoxPredictionNet回归子网络，进行目标的分类和定位；S6、计算损失函数，利用AdamW进行反向传递，对网络模型参数进行更新；S7、重复步骤S4-S6进行多轮的网络模型训练，同时进行loss和mAP指标的输出，直至满足终止条件，获得训练结束后的网络参数；S8、将获得的模型权重载入模型，对输入的图像、视频进行检测，输出检测结果；所述步骤S2中，读入目标图片数据集中图片，进行图像像素值的平均和标准差处理，同时通过包括图像随机翻转、裁剪的处理扩充数据集，并采用包括亮度增强、对比度调整的图像增强操作进行预处理；对增强之后的数据集使用卷积神经网络进行特征提取，并在不同分辨率大小的特征图层进行多尺度输出，分别为{P3,P4,P5,P6,P7}，P3到P7为自底向上的特征图压缩，再进行P7到P3的上采样，同时进行特征图的侧向连接，更新多尺度输出为不同尺度的输出检测不同大小的目标；利用目标样本的尺寸、颜色及形状角度先验信息进行基于尺度大小的聚类，利用所获得的权重求和来为不同尺度分配最终融合结果的贡献度，以此来指导多尺度特征加权融合；具体为：分析处理n张数据集训练图片，获得如下所需数据：标注框为其中n为第n张图片，j为第j个标注框，{x1，y1，x2，y2}为目标标注框的绝对坐标左上角、右下角坐标；宽为{w1_1，w1_2，w1_3，......，wi_j}，其中{wi_j}表示第i张图片的第j个目标的宽；高为{h1_1，h1_2，h1_3，......，hi_j}，其中{hi_j}表示第i张图片的第j个目标的高；对每张归一化后的图像X提取B、G、R通道数据，然后对每个通道的数据求和再取平均，综合3个通道颜色信息公式如下： 对所有图像求目标区域的目标角度构建角度信息集合Angle；假设训练集有n张图片，这n张图片里总共有N个标注框；对该些标注框根据宽高分布在二维空间{w1_1，h1_1，......，wi_j，hi_j}进行类别数为K的聚类，即多尺度特征层数K＝5，其中每一类得到的个数分别为{N1，N2，N3，N4，N5}，除以总目标样本数来计算该类别占比，得到5个尺度在目标大小这个维度的权重信息，权重占比如下： 对所有目标区域的颜色信息color与目标大小Area进行二维空间的聚类，获得颜色信息对应的5个尺度权重colorWeight；对所有目标区域的角度信息Angle与目标大小Area进行二维空间的聚类，获得基于角度的形状信息5个尺度权重shapeWeight；对三方面的先验信息权重进行求和，得到多尺度对应的权重weighti，公式如下：weighti＝sizeWeighti+colorWeighti+shapeWeightii∈{3，···，7}所述步骤S3中，将步骤S2得到的特征图通过上采样或池化调整到权重占比最大的层的目标特征图大小w，h，调整完之后对多个特征图的信息根据得到的权重weighti进行不同尺度的重要性分配，以此进行动态融合，公式如下： 其中，L为多尺度的层数，L＝5；对得到的特征图Cout通过使用高斯非局部注意力来精炼增强该特征得到Crefine，对Crefine进一步做池化或上采样操作来重新调整得到原先对应的5个特征图大小，并且与在对应相同大小的特征图上进行通道维度的逐元素相加，得到所述步骤S4中，对经过动态融合得到的特征图输入同样的多尺度融合结构，同时对该结构引入可学习的参数进行尺度特征贡献度微调，并利用目标先验信息聚类所得到的权重进行初始化，在微调不同尺度特征贡献度的同时加快模型的收敛，最终得到5个有效的特征图信息至此，得到动态特征融合步骤的最后输出特征图，以更好地进行目标定位与类别预测。

全文数据：

权利要求：

百度查询： 福州大学 福建医科大学附属协和医院 目标先验信息指导的多尺度加权融合目标检测方法及系统