买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明公开了多视角特征聚合的目标检测方法，涉及图像识别技术领域，通过目标检测模型从自然图像中识别出目标区域对应的位置和类别信息；目标检测模型的训练过程如下：构建训练集；对训练集中的图像进行多视角提取，生成多视角特征，将多视角特征串联得到多视角特征向量，所述多视角特征包括全局视觉特征、局部视觉特征、跨模态视觉特征；将多视角特征向量、全局视觉特征、局部视觉特征以及跨模态视觉特征输入到跨视角注意力特征聚合模块中，得到聚合后特征；将聚合后特征输入到目标检测模块中，生成目标区域的预测坐标值和预测类别标签；构建总损失函数，更新目标检测模型中的模型参数；该目标检测方法有效提升了对目标区域的检测准确率。

主权项：1.多视角特征聚合的目标检测方法，其特征在于，通过目标检测模型从自然图像中识别出目标区域对应的位置和类别信息；所述目标检测模型的训练过程如下：S1：构建训练集，将所述训练集中的图像输入到目标检测模型中；S2：对图像进行多视角提取，生成多视角特征，将多视角特征串联得到多视角特征向量，所述多视角特征包括全局视觉特征、局部视觉特征、跨模态视觉特征，具体包括：S21：将图像输入到预训练过后的图像分类网络中，得到全局视角下的视觉特征，记为全局视觉特征；S22：将图像输入到预训练过后的视觉检测网络中，取出视觉检测网络中线性预测层的输入特征作为局部视角下的视觉特征，记为局部视觉特征；S23：将图像输入到预训练过后的图像描述生成网络中，得到图像对应的文本描述，将文本描述输入文本编码器，得到跨模态视角下的视觉表征，记为跨模态视觉特征；S24：将全局视觉特征、局部视觉特征以及跨模态视觉特征串联得到多视角特征向量；S3：将多视角特征向量、全局视觉特征、局部视觉特征以及跨模态视觉特征输入到跨视角注意力特征聚合模块中，基于跨视角注意力特征聚合模块的自注意力机制聚合得到聚合后特征，其中跨视角注意力特征聚合模块是一个基于自注意力机制的模块，包括三层网络进行特征聚合，其中每一层网络输入查询、键和值三个元素，具体为：S31：将全局视觉特征和多视角特征向量输入到跨视角注意力特征聚合模块的第一层网络，将全局视觉特征作为输入的查询，将多视角特征向量作为输入的键和值，得到聚合后特征；S32：将局部视觉特征和聚合后特征输入到跨视角注意力特征聚合模块的第二层网络，将局部视觉特征作为输入的查询，将聚合后特征作为输入的键和值，得到聚合后特征；S33：将跨模态视觉特征和聚合后特征输入到跨视角注意力特征聚合模块的第三层网络，将跨模态视觉特征作为输入的查询，将聚合后特征作为输入的键和值，得到聚合后特征；S4：将聚合后特征输入到目标检测模块中，生成目标区域的预测坐标值和预测类别标签；S5：基于所生成的目标区域的预测坐标值和预测类别标签，构建总损失函数，通过反向传播算法，更新目标检测模型中的模型参数。

全文数据：

权利要求：

百度查询： 中国科学技术大学 多视角特征聚合的目标检测方法