买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种基于深度学习的电梯异响和告警音检测方法及系统。方法为：S1、采集加速度数据，判断加速度是否超过设定的加速度阈值以判断当前电梯是否存在异常振动；S2、采集对应异常振动开始时间前i秒后j秒，共i+j秒的监控视频数据；S3、从监控视频数据中获取音频信号；S4、对音频信号进行数据预处理；S5、将预处理后的音频信号输入检测模型；检测模型输出检测的音频类型及对应的检测概率；音频类型包括：电梯异响、告警音或正常；S6、分别判断电梯异响或告警音的检测概率是否超过所设定的检测概率的阈值，若超过检测概率的阈值，则将音频类型及对应的检测概率和对应的电梯编号、检测时间实时上报监测平台。检测方法快速准确。

主权项：1.一种基于深度学习的电梯异响和告警音检测方法，其特征在于，包括如下步骤：S1、采集加速度数据，判断加速度是否超过设定的加速度阈值以判断当前电梯是否存在异常振动；S2、采集对应异常振动开始时间前i秒后j秒，共i+j秒的监控视频数据；S3、从监控视频数据中获取音频信号；S4、对音频信号进行数据预处理；S5、将预处理后的音频信号输入检测模型；检测模型输出检测的音频类型及对应的检测概率；音频类型包括：电梯异响、告警音或正常；S6、分别判断电梯异响或告警音的检测概率是否超过所设定的检测概率的阈值，若超过检测概率的阈值，则将音频类型及对应的检测概率和对应的电梯编号、检测时间实时上报监测平台；数据预处理的步骤如下：去除异常音频数据，指由于采集设备的问题导致的音频提取失败得到的全为0的异常数据；1）使用平均混合方法将双声道音频转换成单声道音频；平均混合方法指将每一个采样点的左声道音频和右声道音频取平均值作为转换后的单声道音频；2）判断单声道音频的采样频率是否为所设置的采样频率fs；若不是，则进行重采样，得到采样频率为fs的音频信号，若是，则不做任何操作；3）应用滑动窗口分割音频信号，窗口时长为w，步长为s，末尾时长不足滑动窗口时长的填充0，最终得到一批等时长的子音频片段；经过数据预处理后的数据维度为n,fs×w，其中n为子音频片段的数量，n根据以下公式计算得到：n=ceilt-ws+1，t为原始音频时长，w为窗口时长，s为窗口步长，ceil表示取大于等于括号内的数字的最小整数；检测模型通过在自制的电梯音频数据集上对开源的音频分类模型进行模型训练得到；所述的自制电梯音频数据集来源于不同电梯场景下的已标注电梯异响、告警音和正常的音频数据；所述的模型训练是指是在开源的音频分类模型的基础上，采用自制电梯音频数据集修改网络结构和进行额外的训练，模型的初始参数来自于开源的音频分类模型；模型训练后对模型做性能测试，当模型测试精度满足实际使用需求时，可用于模型部署，否则需要进行模型结构和参数优化后重新训练模型，直到满足实际使用需求；所述实际使用需求指模型在测试集上的检测准确率达到90%以上；检测模型采用神经网络模型网络，包括对数梅尔频谱特征提取模块、6个卷积模块和1个全连接层；对数梅尔频谱特征提取模块：将短时傅里叶变换应用于音频信号的时域波形，以计算时频谱图；然后经过梅尔滤波器组得到对数梅尔频谱特征；短时傅里叶变换的窗函数选取汉明窗，窗口长度为n_windows个采样点，窗口步长为step，梅尔滤波器组的个数为n_mels；输入形状为（fs×w）的单个子音频信号经过对数梅尔频谱特征提取模块后形状变为ceilfs×wstep,n_mels,1，ceil表示取大于等于括号内的数字的最小整数；第一卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n1；在每个卷积层之间使用批归一化，激活函数使用ReLU，随后应用大小为2×2的平均池化层进行下采样；将维度为ceilfs×wstep,n_mels,1的特征转化为维度为floorfs×w2×step,n_mels2,n1的特征；floorx函数表示向下取整，即不大于x的最大整数；第二卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n2；在每个卷积层之间使用批归一化，激活函数使用ReLU，随后应用大小为2×2的平均池化层进行下采样；将维度为floorfs×w2×step,n_mels2,n1的特征转化为维度为floorfs×w4×step,n_mels4,n2的特征；第三卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n3；在每个卷积层之间使用批归一化，激活函数使用ReLU，随后应用大小为2×2的平均池化层进行下采样；维度为floorfs×w4×step,n_mels4,n2的特征转化为维度为floorfs×w8×step,n_mels8,n3的特征；第四卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n4；在每个卷积层之间使用批归一化，激活函数使用ReLU，随后应用大小为2×2的平均池化层进行下采样；将维度为floorfs×w8×step,n_mels8,n3的特征转化为维度为floorfs×w16×step,n_mels16,n4的特征；第五卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n5，在每个卷积层之间使用批归一化，激活函数使用ReLU，随后应用大小为2×2的平均池化层进行下采样；将维度为floorfs×w16×step,n_mels16,n4的特征转化为维度为floorfs×w32×step,n_mels32,n5的特征；第六卷积模块由2个卷积层组成，卷积核大小为3×3，卷积核数量为n6；在每个卷积层之间使用批归一化，激活函数使用ReLU，随后应用全局池化下采样及降维处理；将维度为floorfs×w32×step,n_mels32,n6的特征转化为维度为n6的1维特征；全连接层两个子层，第一个子层共n6个节点，激活函数为ReLU，第二个子层共3个节点，经过Softmax函数映射得到每种类别的概率值；维度为n6的1维特征经过全连接层后得到一个3维向量输出out=[p1,p2,p3]T，T表示转置；p1、p2、p3分别对应电梯异响、告警音和正常的检测概率。

全文数据：

权利要求：

百度查询： 浙江新再灵科技股份有限公司 一种基于深度学习的电梯异响和告警音检测方法及系统