买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：针对现有基于轮廓的实例分割方法存在的轮廓节点之间关联性较弱导致分割准确性不足的问题，本发明公开了一种基于残差图卷积网络与卷积门控循环单元的实例分割方法，属于实例分割领域。方法包括：步骤1将待分割的图像输入到特征提取网络，得到图片特征、实例中心热点图和轮廓节点偏移量序列。步骤2根据实例中心热点图以及轮廓节点偏移量序列，获取初始轮廓。步骤3将初始化轮廓与图片特征输入RGCN变形网络，以增强各轮廓节点之间的关联，并得到更新后的轮廓。步骤4将更新后的轮廓与图片特征输入CGRU变形网络，完成实例分割。

主权项：1.基于残差图卷积网络与卷积门控循环单元的实例分割方法，其特征在于，包括以下步骤：步骤1将待分割的图像输入到特征提取网络，得到图片特征、实例中心热点图和轮廓节点偏移量序列；步骤2根据实例中心热点图以及轮廓节点偏移量序列，获取初始轮廓C0；步骤3将初始化轮廓C0与图片特征F输入RGCN变形网络，以增强各轮廓节点之间的关联，并得到更新后的轮廓Ck；步骤4将更新后的轮廓Ck与图片特征输入CGRU变形网络，在轮廓变形模块的作用下，使轮廓逐步收敛到紧密包围实例的稳定状态，获得最终轮廓，完成实例分割；步骤3中，所述RGCN变形网络由K个RGCN子模块构成，每个RGCN子模块由1个特征采样器、1个ResidualGCN模块和1个加法器组成；各个子模块串行连接；RGCN子模块中，特征采样器对图片特征F和输入轮廓进行采样得到新的采样特征；ResidualGCN模块对采样特征进行融合处理，得到轮廓节点偏移量；加法器基于轮廓节点偏移量进行轮廓的更新；根据初始轮廓C0与图片特征F，通过特征采样器得到新的采样特征，并经ResidualGCN模块处理后输出轮廓偏移量ΔC0，再与初始轮廓C0相加后得到变形轮廓，即C1＝C0+ΔC0，后续第k个子模块的输入为轮廓ck-1和图片特征F，通过特征采样器得到新的采样特征，经过ResidualGCN模块处理后输出轮廓偏移量ΔCk-1，再与轮廓Ck-1相加后得到变形轮廓，即Ck＝Ck-1+ΔCk；最终经过K个子模块处理后得到变形轮廓CK；每个所述ResidualGCN模块由4个GCN+ReLU模块、3个加法器、2个连接器、1个Maxpooling模块和2个1×1Conv+ReLU模块组成；GCN+ReLU模块用于提取轮廓节点的特征；加法器用于将两层特征相加，形成新的特征；连接器用于拼接各个特征，得到更高维度的特征矩阵；Maxpooling模块用于降低特征矩阵的尺度；1×1Conv+ReLU模块用于特征降维；先将采样特征输入第一个GCN+ReLU模块，所产生的输出值被输入第二个GCN+ReLU模块；然后将第二个GCN+ReLU模块的输出值与第一个GCN+ReLU模块的输出值相加后的结果输入第三个GCN+ReLU模块，而第三个GCN+ReLU模块的输出值与第一个GCN+ReLU模块的输出值相加后的结果被输入第四个GCN+ReLU模块；再将第四个GCN+ReLU模块的输出值与第一个GCN+ReLU模块的输出值相加，并与前三个GCN+ReLU模块的输出值拼接，得到一个四维特征矩阵，再经过Maxpooling模块后与原特征矩阵拼接；最后通过两个1×1Conv+ReLU模块降维，得到轮廓偏移量序列ΔCk；步骤4中，所述CGRU变形网络由L个CGRU子模块构成，其中第一个CGRU子模块由1个tanh激活模块、1个特征采样器、1个轮廓变形模块和1个加法器组成，后续L-1个CGRU子模块，均由1个特征采样器、1个轮廓变形模块和1个加法器组成，各个CGRU子模块串行连接；首先，第一个CGRU子模块中，将经过步骤3中得到的变形轮廓CK与图片特征F经过所述特征采样器采样后得到采样特征gK，对gK进行tanh激活函数处理后得到初始隐藏态hK；然后，将采样特征gK、隐藏态hK以及变形轮廓CK输入轮廓变形模块，处理得到隐藏态hK+1和轮廓节点偏移量ΔCK，并将轮廓节点偏移量ΔCK与轮廓CK相加得到新的变形轮廓CK+1；第一个CGRU子模块之后的第i个CGRU子模块的输入为轮廓CK+i-1、图片特征F和前一个轮廓变形模块输出的隐藏态hK+i-1，轮廓CK+i-1和图片特征F经图片特征采样后得到的采样特征gK+i-1，与隐藏态hK+i-1一同经过轮廓变形模块处理后得到隐藏态hK+i和轮廓节点偏移量ΔCK+i-1，轮廓节点偏移量ΔCK+i-1与轮廓CK+i-1相加后得到输出轮廓CK+i；最终经过L个子模块处理后，得到输出轮廓CK+L；所述轮廓变形模块具体为CGRU变形模块，所述CGRU变形模块由特征聚合模块和CGRU迭代器组成；所述特征聚合模块包括相互堆叠的8个具有残差连接的圆卷积层；圆卷积将输入序列的头部和尾部相连，再进行卷积操作，且输出特征与输入特征具有相同的长度，将所有圆卷积层输出的特征进行拼接，并通过3个1×1的卷积层转发后，与轮廓CK进行显式拼接，得聚合后特征gK；所述CGRU迭代器基于GRU门控循环单元进行构造，将GRU门控循环单元中的全连接层替换为1-D卷积层；首先，将聚合特征gK和隐藏态hK拼接后乘以重置门权重Wr，经过卷积及sigmoid激活后得到rK+1，同时将聚合特征gK和隐藏态hK拼接后乘以更新门权重Wz，经过卷积及sigmoid激活后得到zK+1；然后，将隐藏态hK与rK+1的乘积与聚合特征gK拼接后乘以隐藏态选择门权重Wh，经过卷积及tanh激活后得到候选隐藏态最后，将取反的rK+1分别与隐藏态hK和候选隐藏态相乘，而后将乘积相加得到新的隐藏态hK+1，利用前馈层FFN处理隐藏态hK+1后得到轮廓节点偏移量ΔCK。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于残差图卷积网络与卷积门控循环单元的实例分割方法