买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南农业大学

摘要：本发明提供了一种基于采摘机器人的茶芽叶位姿估计方法和系统，包括构建图像数据集，采用BAM注意力机制和softNMS方法优化Yolov8网络，得到分割模型，使用分割模型从图像背景中分割出茶芽叶。根据深度图像构建茶芽叶的点云数据，对点云数据进行预处理，得到预处理后点云。采用随机采样一致性方法确定预处理后点云的主方向，基于主方向构建茶芽叶采摘模型，根据茶芽叶采摘模型估计茶芽叶位姿。获取茶芽叶掩膜的深度信息，并结合点云数据处理来实现对茶芽叶进行高精度估计，为采摘机器人提供了精确的定位和导航能力，有助于提高茶叶采摘的自动化水平和效率。分割模型可以从复杂的背景中提取茶芽叶的语义特征，实现在非结构化的茶园环境中准确分割茶芽叶。

主权项：1.一种基于采摘机器人的茶芽叶位姿估计方法，其特征在于，包括：构建图像数据集，所述图像数据集包括采摘机器人采集，且经过图像处理后的茶芽叶的RGB图像和深度图像；采用BAM注意力机制和softNMS方法优化Yolov8网络，得到分割模型，使用所述分割模型从图像背景中分割出茶芽叶；根据所述深度图像构建所述茶芽叶的点云数据，对所述点云数据进行预处理，得到预处理后点云；采用随机采样一致性方法确定所述预处理后点云的主方向；基于所述主方向构建茶芽叶采摘模型，根据所述茶芽叶采摘模型估计茶芽叶位姿；所述采用BAM注意力机制和softNMS方法优化Yolov8网络，得到分割模型，包括：构建分割框架，所述分割框架基于Yolov8网络，所述分割框架包括主干网络、颈部网络和头部网络；构建BAM注意力机制模块，所述BAM注意力机制模块由通道注意力模块和空间注意力模块组成；将所述分割框架与所述BAM注意力机制模块融合，得到融合框架；将所述融合框架中的NMS方法替换为softNMS方法，得到更新后框架；对所述更新后框架进行训练，得到分割模型；所述采用随机采样一致性方法确定所述预处理后点云的主方向，包括：采用随机采样一致性方法对所述预处理后点云进行三维直线拟合，得到茶芽叶中轴线；计算所述茶芽叶中轴线的方向向量，所述方向向量用于表示所述预处理后点云的主方向；所述基于所述主方向构建茶芽叶采摘模型，包括：根据以下公式拟合茶芽叶包络体： ；其中，r为圆柱体的半径，x,y,z为所述圆柱体上的任意一点，x’,y’,z’为所述圆柱体的轴线上的点，a,b,c为所述方向向量。

全文数据：

权利要求：

百度查询： 华南农业大学 一种基于采摘机器人的茶芽叶位姿估计方法和系统