买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东华大学

摘要：本发明涉及一种基于Head轻量化MaskScoringR‑CNN的手势识别方法，在原始MaskScoringR‑CNN主干网络的输出特征图之后引入一个轻量化的位置敏感得分图和位置敏感RoIAlign，使得Head结构的输入RoI通道数变得很小，并且将Head结构中连续的两个全连接层改为单个全连接层来减少计算量。本发明以DetNet59结合FPN作为主干网络，使得提取的多尺度特征图能够同时包含丰富的语义信息和位置信息并且能够适应各种尺寸的物体进行检测。经本发明改进后的实例分割模型在平均精准度上得到明显提升，模型参数数量得到有效降低，模型的训练和检测速度得到了有效提高。

主权项：1.一种基于Head轻量化MaskScoringR-CNN的手势识别方法，其特征在于，包括以下步骤：步骤1、建立改进的MaskScoringR-CNN实例分割模型，该改进的MaskScoringR-CNN实例分割模型包括主干网络、RPN网络、PSRoIAlign及Head结构，其中：使用DetNet59-FPN作为主干网络，用于提取输入的手势图像的多尺度特征图，这些多尺度特征图通过1x1卷积生成392通道的轻量化位置敏感得分图；RPN网络基于多尺度特征图生成锚框并生成提议区域，RPN网络将输出的提议区域对应到轻量化位置敏感得分图上截取RoI；PSRoIAlign将RoI池化成统一大小后输入Head结构；Head结构包括R-CNNHead、MaskHead、MaskIoUHead，R-CNNHead和MaskIoUHead采用单个1024维全连接层，R-CNNHead用于对池化后的RoI进行分类并预测边界框；MaskHead用于结合R-CNNHead输出的分类结果输出RoI的预测掩码；MaskIoUHead对预测掩码与真实掩码的交并比进行回归输出MaskIoU，最后将分类置信度与MaskIoU的乘积作为实例分割的得分；步骤2、定义目标任务，采集目标样本图及制作数据集，包括以下步骤：步骤2-1、定义目标任务为手势数据，采集五类手势图像；步骤2-2、制作数据集，准备适量目标任务的样本图像，为保证特征充分性，样本图像数量级设置为103到104，该范围内的任何数值M都可作为样本数量，五类手势图像的个数比例一致；步骤2-3、将步骤2-2得到的样本图像进行标注，标注的内容包括图像内手势的类别、边界框、掩码；步骤2-4、将步骤2-2得到的数据集按照一定的比例进行划分，得到训练集、测试集和验证集；步骤3、模型训练：步骤3-1、对步骤1中改进的MaskScoringR-CNN实例分割模型进行初始化参数设置，利用DetNet59在ImageNet上预训练的参数作迁移学习，设置SGD优化器学习率为0.001，训练的batchsize为16，迭代次数为40000，利用步骤2得到的训练集对改进的MaskScoringR-CNN实例分割模型进行训练，随后使用验证集进行验证；步骤4、模型测试，包括以下步骤：步骤4-1、选定步骤2-4得到的测试集中的样本图像输入训练好的改进的MaskScoringR-CNN实例分割模型；步骤4-2、对输出边界框进行非极大值抑制，去除重复的边界框得到最终测试结果。

全文数据：

权利要求：

百度查询： 东华大学 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法