申请/专利权人：温州大学

申请日：2021-06-11

公开（公告）日：2024-07-02

公开（公告）号：CN113673298B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40;G06V10/82;G06N3/0464;G06N3/096;G06N3/045;G06V10/764;G06V10/766

优先权：

专利状态码：有效-授权

法律状态：2024.07.02#授权;2021.12.07#实质审查的生效;2021.11.19#公开

摘要：本发明提供了一种基于时序门控循环单元模型的溢出监测方法，包括：步骤Step1：获取垃圾桶的监控视频，并其进行预处理，得到数据训练集、数据测试集和数据验证集；步骤Step2：特征提取模块利用SSD目标特征提取网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息；步骤Step3：由检测模块构建基于GRU网络的溢出检测模型，采用所述基于GRU网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，检测模块向报警模块发送报警信息；步骤Step4：所述报警模块根据设定模式进行溢出报警，本发明可提高垃圾桶检测精度和速度，且成本较低，并能及时进行报警。

主权项：1.一种基于时序门控循环单元模型的溢出监测方法，其特征在于，包括以下步骤：步骤Step1：获取垃圾桶的监控视频，并通过视频信息处理模块对所述监控视频进行预处理，得到数据训练集、数据测试集和数据验证集；步骤Step2：特征提取模块利用SSD目标特征提取网络从视频图像中提取垃圾桶内垃圾信息，获取垃圾特征信息；步骤Step3：由检测模块构建基于GRU网络的溢出检测模型，采用所述基于GRU网络的溢出检测模型对目标特征提取网络输出的识别结果图进行学习分类，具体为将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测，基于所述检测结果，所述检测模块向报警模块发送报警信息；步骤Step4：所述报警模块根据设定模式进行溢出报警；所述利用SSD目标特征提取网络从视频图像中提取垃圾桶内垃圾信息包括：将经过处理后的数据训练集图像信息传入到卷积层，利用基于SSD的目标特征提取网络对输入的垃圾桶监测图片进行特征提取；对提取出的特征图进行分类识别，得出识别结果图；所述基于SSD的目标特征提取网络的构建过程包括：在VGG-16网络的基础上，将VGG16网络的两个全连接层换成卷积层，然后添加四个卷积层得到SSD网络结构，基础网络用来提取图像特征，后面添加的四个卷积层用来预测不同尺度和宽高比的目标检测框的偏移量及其相关置信度，图像经过每层网络进行卷积后，生成大小不同的特征图，利用多个特征图可同时进行Softmax分类和位置回归；根据计算所述目标检测框的大小,其中，表示第i个特征图的大小，m为特征图的个数，为最小特征图的大小，为最大特征图的大小，在对SSD网络进行模型训练时，将目标检测框设定为不同的宽高比；所述对提取出的特征图进行分类识别，得出识别结果图包括：采用非极大值抑制算法获取最佳的目标检测框，依据获取的目标检测框置信度大小，对所有的目标检测框进行排序；计算所有预测框的面积，计算置信度最高的目标检测框与剩余候选框的IoU，根据设置的阈值删除IoU值大于所述阈值的候选框，输出最终垃圾与背景的检测检结果；将所述垃圾特征信息输入所述基于GRU网络的溢出检测模型进行垃圾溢出检测之前，需构建并训练得到基于GRU网络的溢出检测模型，所述构建基于GRU网络的溢出检测模型包括：所述基于GRU网络的溢出检测模型包含第一卷积层、第一激活层、第一池化层、第一dropout层、第二卷积层、第二激活层、第二池化层、第二dropout层、GRU层、全连接层和softmax回归层，采用ReLu非线性函数作为激活函数，将目标特征提取网络输出的识别结果图作为模型的输入，利用softmax回归作为分类算法，得到垃是否满溢的检测结果；所述第一卷积层通过设置好大小的滤波器来完成对输入垃圾信息图像的特征提取，得到激活二维图，其中，为一个卷积核得到的激活二维图，为卷积核个数，单个输入数据尺寸为20*72*72*16，第一卷积层包括16个3*3卷积核；第一池化层对所述第一卷积层的输出做最大池化，在2*2的滑动区域内取最大值作为输出，以减少维度抑制过拟合，第一池化层的输出数据尺寸为20*36*36*16，并通过第一dropout层进行正则化；第二卷积层包括32个3*3卷积核用于对高维特征进行提取，第二池化层对所述第二卷积层的输出做最大池化，最终输出的数据体尺寸为20*18*18*32；将经过第二dropout层随机失活和变换的2阶张量输入GRU层，通过横向连接提取时间维度上的相关性特征，最后通过全连接层和softmax分类层将预测结果输出，一个具有softmax激活的完全连接层，包含2个神经元用于预测2分类，即垃圾满溢和垃圾未满溢。

全文数据：

权利要求：

百度查询： 温州大学 一种基于时序门控循环单元模型的溢出监测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD