买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：荆州职业技术学院

摘要：本发明涉及一种基于多模态特征融合的管道焊缝缺陷检测方法，属焊管检测方法技术领域。本申请将从业人员的丰富经验转化为语义特征空间，嵌入到检测信号空间强化学习。即通过已知类别和未知类别构建一个公共的多模态特征融合空间，每一个类别均根据从业人员的专业描述构建一个专属的语义特征表达，且不同类别的语义特征表达具有相同的特征维度，以此使模型通过对已知类别的学习获得对未知类别的识别能力，由此达到了实现对管道焊缝未知缺陷识别的目的。

主权项：1.一种基于多模态特征融合的管道焊缝缺陷检测方法，其具体包括如下步骤：1、管道焊缝超声检测数据处理；使用超声波检测设备，利用超声波探头沿着焊缝进行扫描，数据传输到超声波检测仪进而得到超声检测数据，然后将得到的超声检测数据进行特征提取，最后经过全连接层得到超声检测数据特征向量；2、管道焊缝X射线检测图像处理；使用X射线检测设备，利用数字探测器沿着焊缝进行扫描，图像会直接传输到计算机进行存储，然后将得到的X射线检测图像进行特征提取，最后经过全连接层得到X射线检测图像特征向量；3、人工判别语义文本处理；由专家分别对超声检测数据和X射线检测图像进行判别，以确定焊缝中是否存在缺陷、存在哪种类型的缺陷，并形成文字描述记录下来得到人工判别语义文本T；对于得到的人工判别语义文本T中每个词ω的特征向量通过其词嵌入向量和n-gram嵌入向量的组合得到,如公式9所示： 其中，zω是词ω的最终表示，gω是词ω的所有n-gram集合，g是n-gramg的嵌入向量，w是词ω的嵌入向量；则有整个人工判别语义文本T的特征向量通过文本中所有词表示的平均得到人工判别语义文本T的特征向量其中|T|是文本T中词的数量；最终将得到的zT经过全连接层得到最终人工判别语义文本特征向量FT＝WT·zT+bT,其中WT、bT为全连接层的权重矩阵和偏置向量；4、将超声检测数据特征向量、X射线检测图像特征向量征和人工判别语义特征向量等多模态特征融合，形成共享融合特征；将得到的最终超声检测数据特征向量Fu、最终X射线检测图像特征向量FX、最终人工判别语义文本特征向量FT进行拼接，形成共享融合特征F，如公式10所示；F＝concatFu,FX,FT10concat表示向量拼接操作，将输入向量按顺序拼接在一起，将拼接后的共享融合特征F通过一个全连接层，得到最终融合特征Ffinal＝SigmoidWfinalF+bfinal,其中Sigmoid表示Sigmoid激活函数，Wfinal、bfinal为全连接层的权重矩阵和偏置向量；5、利用共享融合特征识别焊缝缺陷；将得到的最终融合特征Ffinal放入卷积神经网络中训练，通过反向传播算法更新模型参数，直至收敛或达到停止条件，训练完成后，将新的融合特征向量输入训练好的卷积神经网络模型中，通过前向传播得到预测结果，用来判断管道焊缝是否存在缺陷、存在哪种缺陷类型。

全文数据：

权利要求：

百度查询： 荆州职业技术学院 一种基于多模态特征融合的管道焊缝缺陷检测方法