申请/专利权人：淮阴工学院

申请日：2024-03-22

公开（公告）日：2024-06-28

公开（公告）号：CN118262353A

主分类号：G06V20/68

分类号：G06V20/68;G06V10/24;G06V10/44;G06V10/80;G06V10/774;G06V10/82

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：本发明公开了一种基于3D‑2D特征融合的果实识别定位方法，通过深度摄像头获取到果实的3D点云数据；将预处理后的点云数据转换成张量；采用PointNet++来获取点云的局部、全局特征和结果特征；对获取的2D数据进行预处理，采用卷积神经网络对2D数据进行特征提取；将点云的全局特征和图像的全局特征进行多尺度特征提取，分别通过反卷积层和点卷积转换后，沿通道维度拼接得到不同尺度下的整体特征；接着将图像的结果特征和点云的结果特征与上述的整体特征进行特征融合；将融合特征的训练集作为输入，进行深度学习训练。本发明将点云和图像数据的优势相互补充，对果实进行全方位、多维度的特征提取和分析，能够有效提高果实识别的准确性和可靠性。

主权项：1.一种基于3D-2D特征融合的果实识别定位方法，其特征在于，包括以下步骤：1通过深度摄像头获取果实的点云数据，并对点云数据进行预处理；使用最近邻算法K-NN对每个点构建其局部邻域；将预处理后的点云数据转换成张量格式并对坐标进行归一化操作，每个点包括三维坐标信息x,y,z以及颜色信息；2通过PointNet++获取点云数据的局部、全局特征和结果特征；将步骤1获取的局部邻域内的点作为输入，经过特征提取模块得到每个点的局部特征；将得到的每个点的局部特征通过局部区域聚合模块进行聚合操作，获取更广泛的局部上下文信息；将聚合后的特征经过区域上下文编码器，得到编码后的特征信息；将编码后的特征信息经过全局特征汇聚模块，得到表征整个点云数据的全局特征；经过特征提取和聚合过程后，PointNet++网络最终输出点云的结果特征；3通过摄像头获取果实的二维图像，并进行数据预处理；对每张果实图像添加相应的标签数据，将数据集划分为训练集、验证集和测试集；采用VGG模型对训练集进行训练，使用验证集对训练好的VGG模型进行评估，将训练好的VGG模型应用到测试集中查看性能；在训练好的VGG模型中，利用卷积层和池化层提取果实图像的全局特征，将提取到的高级抽象特征表示转换成张量形式；利用全连接层和softmax得到图像的结果特征；4将点云数据的全局特征和图像的全局特征进行多尺度特征提取，分别通过反卷积层和点卷积转换后，沿通道维度拼接得到不同尺度下的整体特征；接着将图像的结果特征和点云的结果特征与上述的整体特征进行特征融合，得到融合特征集；5将融合特征集划分为训练集、验证集和测试集，其中融合特征的训练集作为输入，采用YOLOv5模型进行深度学习训练；设置综合的损失函数来计算目标检测任务中真实标签和预测标签之间的误差；6使用融合特征的验证集和测试集分别对训练好的模型进行验证和评估；模型将输出检测到的目标物体的位置、类别和置信度等信息；对模型输出的目标检测结果进行非极大值抑制操作来消除冗余的检测结果；将处理后的检测结果可视化到原始图像中，以便通过可视化来评估模型的性能。

全文数据：

权利要求：

百度查询： 淮阴工学院 一种基于3D-2D特征融合的果实识别定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD