买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：黑龙江大学

摘要：基于深度学习的絮体检测方法、存储介质及设备，属于絮状物体特征参数检测技术领域。为了解决现有技术对絮体的识别和分割时存在分割精度有待于进一步提高的问题。本发明首先对视频进行抽帧，然后利用絮体识别网络对絮体进行识别得到掩膜图，记为原始掩膜；同时通过灰度直方图和灰度共生矩阵实现对絮体的纹理特征的提取；将提取的纹理特征跟原始掩膜进行卷积操作获得特征图，并将特征图再与原始掩膜行加权，以获得修正后的掩膜；再使用形态学操作进行平滑处理，输出分割结果；然后进行形态学参数提取作为判断活性状态的指标。本发明用于絮体的检测。

主权项：1.一种基于深度学习的絮体检测方法，其特征在于，包括以下步骤：对视频进行抽帧，提取图片格式的絮体图像，然后进行絮体的识别，基于神经网络模型对絮体进行识别得到掩膜图，记为原始掩膜；同时通过灰度直方图和灰度共生矩阵实现对絮体的纹理特征的提取；将提取的纹理特征跟原始掩膜进行卷积操作获得特征图，并将特征图再与原始掩膜行加权，以获得修正后的掩膜；再使用形态学操作进行平滑处理，输出分割结果，进而得到絮体的形态学参数；形态学参数包括絮体数量、面积、长度、宽度、分形维数；所述基于神经网络模型对絮体进行识别得到掩膜图的过程如下：基于神经网络模型对絮体进行识别的网络模型记为絮体识别网络；基于MaskRCNN，絮体识别网络采用特征提取网络作为主干网络，主干网络包括5个卷积单元，分别记为C1-C5，基于主干网络搭建特征金字塔FPN，在此基础上进行改进得到絮体识别网络：将絮体图像输入到主干网络第一个卷积单元C1中，C1使用的是7×7的卷积核进行卷积处理，然后进行下采样操作；将得到的特征图依次输入到C2-C5中，C2-C5中的每个卷积单元包含多个卷积块，C2-C5逐步提取图像的特征；在C2-C5的卷积块中，首先进行1×1的卷积操作，然后进行3×3的卷积操作，最后再进行1×1的卷积调整通道数；同时在每个卷积块中会进行下采样，对特征图进行降维，同时通道数增加一倍；最终的特征图是经过五次压缩的特征图；基于特征提取网络-FPN网络结构，在FPN网络上新增自底向上的侧边网络，在特征提取网络下采样生产的C2、C3、C4、C5经过1*1的卷积得到特征图P2、P3、P4、P5基础上，横向连接增加一个侧边网络路径即自下而上的反向连接路径；P2通过1×1卷积得到T2特征图之后，再进行3×3的卷积操作得到D2，且在反向连接路径中T2进行下采样后将其与相邻高层特征图P3通过1×1卷积后的结果进行相加，输出T3；T3同样需要进行3×3卷积输出D3；在反向连接路径中T3进行下采样后将其与相邻高层特征图P4通过1×1卷积后的结果进行相加，输出T4；T4同样需要进行3×3卷积输出D4，在反向连接路径中T4进行下采样后将其与相邻高层特征图P5通过1×1卷积后的结果进行相加，输出T5；T5同样需要进行3×3卷积输出D5；在特征提取网络下采样生产的C2、C3、C4、C5各自输入一个双注意力机制DANet网络，DANet网络和FPN网络为并列设置的网络，将特征图D2、D3、D4、D5与双注意力机制生成的特征图分别相加得到的特征图输入到RPN网络，得到一系列的候选框，即包含感兴趣的目标建议框；获取的包含感兴趣的目标建议框通过RoIAlign网络的双线性插值操作，将不同尺寸的候选框映射到固定输出尺寸的位置上，并使用双线性插值法计算采样点处的像素值，然后对这些采样点进行最大池化操作，得到一个2×2大小的特征图，并对其进行量化处理；接着采用非极大值抑制算法NMS处理，从而得到最终输出固定尺寸的特征图；将生成的特征图输入到PointRend细化分割单元获取边缘分割更精细的絮体掩膜图；分类和边界回归分支依旧对絮体进行分类、回归，最后获取最终的预测结果。

全文数据：

权利要求：

百度查询： 黑龙江大学 基于深度学习的絮体检测方法、存储介质及设备