申请/专利权人：东北大学

申请日：2024-03-20

公开（公告）日：2024-07-05

公开（公告）号：CN117909854B

主分类号：G06F18/2411

分类号：G06F18/2411;G06F18/214;G06F17/16

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.05.07#实质审查的生效;2024.04.19#公开

摘要：本发明属于智能汽车故障诊断技术领域，公开了一种基于多模态对比嵌入的零样本复合故障诊断方法。综合考虑高维特征和低维特征在故障诊断中的作用，解决了复合故障特征堆叠复杂，故障语义信息对特征描述不够充分的问题，不需要专业知识的同时能够获得更好的泛化性能。本发明在复合故障诊断中引入计算机视觉领域的对比学习思想，提供了一种基于对比学习的零样本复合故障诊断方法，解决复合故障的诊断困难，信号样本难以区分，预测精度平衡性差的问题。基于广义零样本学习，提供了一种基于迭代思想的复合故障增量学习框架，解决复合故障样本难以复现和复杂度高的问题。本发明能够在保证精确率的前提下，避免已知故障样本被错误地诊断为未知复合故障。

主权项：1.一种基于多模态对比嵌入的零样本复合故障诊断方法，其特征在于，分为训练阶段和测试阶段；训练阶段包括如下步骤：步骤1：采集轴承振动信号，经预处理后分别输入到SDP转换模块和语义构建模块；SDP转换模块输出的SDP图像数据输入至基于对比嵌入的故障诊断模型中；语义构建模块对轴承振动信号进行阈值分割，获取故障初始语义向量；所述基于对比嵌入的故障诊断模型包括特征提取模块、对比学习模块、自编码器；训练特征提取模块，从SDP图像数据中提取视觉特征；步骤2：根据视觉特征训练自编码器，通过自编码器对故障初始语义向量进行特征重构，输出重构的故障语义特征；自编码器包括编码器和解码器；具体为将视觉特征f输入至编码器中，将视觉特征f降维转换为输出向量；解码器将输出向量重构为视觉特征向量训练过程中通过视觉特征f和视觉特征向量的MSE损失和交叉熵损失LCE对自编码器的重构损失函数LC进行优化；测试阶段时，单一类型故障样本的初始语义向量矩阵S和复合故障样本的初始语义向量矩阵S输入至优化后的自编码器中，输出重构语义特征向量重构语义特征向量输入至对比学习模块中对故障样本进行分类；训练对比学习模块，分类得到的未知复合故障输入至基于迭代的诊断增量框架，在广义零样本测试集上再次诊断；在完成对该未知复合故障类别的分类后，将完成分类的样本输入到训练阶段的训练集中，再随机选取样本加入至对比学习池，作为已知样本进行训练；所述基于迭代的诊断增量框架中构造对比样本池pool，从每个已知故障类别提取固定量视觉特征向量加入对比样本池中，各已知故障类别的视觉特征归一化后，在一个超球面特征空间上形成类平面的实例子空间，通过投影距离和余弦相似度计算一个查询特征向量属于某一类别的概率；在广义零样本测试集的学习情景下，首次出现的未知故障样本在对比样本池中不存在正样本对，对比损失函数构建过程如下：1生成一个掩码矩阵，其中具有相同标签的样本对条目为1，不同标签的样本对条目为0，用于区分正负样本对，如下式所示： 其中yi、yj表示对比样本池中两个对比样本的标签；2判断查询特征向量是否属于某一类别的依据是投影距离，投影距离计算方法如下所示： n代表构成实例子空间的样本数目；投影距离Dnf表示为在实例子空间内所有向量正交的法向量，通过计算特征向量间的点积并通过温度参数τ缩放，在故障诊断任务中，设置温度参数τ为0.7，公式如下： 其中v表示查询特征向量，vT表示实例子空间的全部向量集合；之后从点积中减去每行的最大值，得到logits；logits＝对比矩阵-max对比矩阵3使用softmax的对数版本计算每个正样本对的对数概率平均值log_prob，不计算没有正样本对的样本对数概率，公式如下：log_prob＝logits-log∑explogits4最终对比损失函数LCon为N个样本的对数概率负值的平均值，公式如下所示： 5对比学习模块总体损失被表述为：LC＝βLCE+1-βLConβ为交叉熵损失占总损失权重，LCE为交叉熵损失；所述特征提取模块具体为通过基于通道权重的多尺度卷积神经网络采集SDP图像中的视觉特征；将SDP图像变换模块输出的SDP图像和对应标签构成的集合D作为特征提取模块的输入；D＝{x1，y1，x2，y2，...，xn，yn}，xn为第n个SDP图像样本，yn为第n个SDP图像的对应标签；通过图像变换操作提取SDP图像中心包含全部图像的等长宽大小正方形区域作为特征区块；将特征区块输入到基于通道权重的多尺度卷积神经网络中进行特征提取，经过多尺度卷积层、批处理层、LeakyReLU线性整流层、最大池化层和Dropout操作后得到深度视觉特征U；深度视觉特征压缩后经过通道注意力权重加权；σ＝sigmoidgz，W＝sigmoidW2δW1z 其中z为深度视觉特征压缩后的特征，gz，W表全连接层操作，W为全连接层权重，W1和W2分别是两个全连接层的权重，σ表示sigmoid激活函数输出每个通道的权重因子σk的集合；δ表示ReLU激活函数，将深度视觉特征的每个通道uk乘以对应的权重系数σk实现特征图加权；加权后的特征图依次输入到1*1024的全连接层和MLP分类器获取视觉特征f和图像分类结果；在训练阶段，从视觉特征中提取等数量的故障样本构造视觉对比学习池poolf，各已知故障类别的视觉特征f归一化后，在一个超球面特征空间上形成类平面的实例子空间，使用视觉特征f和实例子空间的投影距离和余弦相似度计算一个查询特征向量属于某一类别的概率；训练阶段查询特征向量为视觉特征f，通过计算对比损失优化特征提取模型，所述对比损失函数计算方式与对比样本池的对比损失函数计算相同；所述测试阶段，输出的重构语义特征向量输入到对比学习模块对故障样本进行分类；使用训练集中重构语义特征向量构造语义对比样本池pools，将测试集中得到的重构语义特征向量作为查询特征向量输入到超球面特征空间中；通过对比样本池pools中的重构语义特征向量在超球面特征空间上构造实例子空间，使用语义特征向量和实例子空间的投影距离和余弦相似度计算一个查询特征向量属于某一类别的概率，进行第一次分类诊断，获得分类结果；所述基于迭代的诊断增量框架，在获得初次分类诊断结果后修改对比样本池pools，对未知复合故障样本的诊断采取的温度参数τ′＝0.9；具体步骤如下：将检出的未知复合故障样本的重构语义特征向量加入对比样本池pools中，作为该未知类别的正向样本；初次诊断的未知复合故障样本不足固定量时，则对未知复合故障样本进行线性变换数据增强直至正向样本数量充足；利用新的对比样本池pools构造包括未知复合样本在内的实例子空间，计算每个实例子空间内的余弦相似度，对测试集中尚未被检测出的，未知故障样本进行迭代检测；继续对对比样本池进行迭代直至对故障的诊断精度和召回率抵达最优时，停止迭代。

全文数据：

权利要求：

百度查询： 东北大学 基于多模态对比嵌入的零样本复合故障诊断方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD