买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：一种面向增强现实辅助装配的零件拾取感知方法，包括图像离线训练模块、感兴趣区域获取模块、拾取状态识别模块、装配信息推送模块。图像离线训练模块对手势区域与装配零件的图像进行目标检测训练，并将手势对装配零件的交互状态图像进行分类训练；感兴趣区域获取模块检测现场采集图像，获取装配零件的位置、类别信息，以及手势与零件交互的感兴趣区域；拾取状态识别模块对装配现场环境采集到的视频流进行逐帧识别并进行连续帧分析；装配信息推送模块将当前的拾取状态，推送当前工序的装配辅助信息。本发明实现了装配零件以及装配工人手势区域的获取，对工人与装配零件的交互状态进行了跟踪，从而对装配信息进行智能推送，提高装配效率。

主权项：1.一种面向增强现实辅助装配的零件拾取感知方法，其特征在于，包括图像离线训练模块、感兴趣区域获取模块、拾取状态识别模块、装配信息推送模块，还包括以下步骤：步骤1，通过图像离线训练模块对图像采集进行离线目标检测训练和分类训练，以增强现实获取的实时视频流，用于后续对零件与手的识别以及手势与零件交互状态的分类；步骤2，采集当前装配场景的视频流传输到服务器上，将视频流转化为连续帧图像；通过Yolov5目标检测网络识别出当前场景所包含的物体信息；当检测到手势区域时，判断区域内部是否存在其他零件，若只存在一个零件则将手势区域与零件区域并集部分的最小矩形框判定为感兴趣区域；若存在多个零件，则逐个比较每个零件区域与手势区域的交集部分面积占零件区域总面积的比值，选取最大比值，设定阈值，当该最大比值大于阈值时，判定为感兴趣区域，具体包括：步骤2.1，基于当前装配场景的视频流，通过目标检测算法识别出当前装配场景的零件信息以及手势区域，假设一共含有n种零件，手势为第0类物体，因此能够从图像中读取出n+1种目标信息，将当前第f帧图像中目标j的信息设为Hf,j， 其中j表示物体类别，表示物体位置区域最小横坐标和纵坐标，表示物体位置区域最大横坐标和纵坐标；步骤2.2，若当前场景中含有手势区域，根据式1进行重叠系数kf,j计算，其中j为所有识别到的零件类别，kf,j＝1表示f帧图像中j零件和手部有重叠区域，kf,j＝0表示f帧图像中j零件和手部无重叠区域； 式中步骤2.3，根据重叠系数kf,j选取所有和手部区域有重叠的Hf,j，并根据式2分别计算当前图像中所有重叠区域的面积占该零件面积的比例Sf,i； 步骤2.4，当采集到的装配场景中手势与多个零件存在重叠区域时，对实际所拾取的零件进行判断，若手势区域内存在多个零件，则逐个比较每个零件的Sf,i，选取最大比值，并判断是否大于设定的阈值0.3，采用式：Rf,i＝i,XMIN,YMIN,XMAX,YMAX,i＝argmaxSf,jmaxSf,j＞0.3求得当前图像唯一的感兴趣区域信息Rf,i，其中Rf,i表示该感兴趣区域位置信息和感兴趣零件类别信息，i表示所有重合零件中Sf,j最大的零件类别，表示感兴趣区域最小横坐标，表示感兴趣区域最小纵坐标，表示感兴趣区域最大横坐标，表示感兴趣区域最大纵坐标；步骤3，基于拾取状态识别模块对装配现场RGB视频流进行连续帧分析，基于感兴趣区域通过分类预测判断当前人手与零件的交互状态，以减少单帧判断错误的噪声影响；步骤4，当交互状态判断为拾取状态时，基于装配信息推送模块将当前的拾取状态传输到增强现实眼镜，推送当前工序的装配辅助信息。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种面向增强现实辅助装配的零件拾取感知方法