买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜太原理工大学申请的专利一种基于多频率融合的工业图像异常感知系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116935120B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310894905.7，技术领域涉及：G06V10/764；该发明授权一种基于多频率融合的工业图像异常感知系统是由赵涓涓;张继跃;赵林;强彦;马跃设计研发完成，并于2023-07-20向国家知识产权局提交的专利申请。

本一种基于多频率融合的工业图像异常感知系统在说明书摘要公布了：本发明公开了一种基于多频率融合的工业图像异常感知系统，包括多频率融合模块、基于生成对抗网络的图像生成模块和异常检测分类模块；多频率融合模块可以捕获不同尺度和频率的特征信息，基于生成对抗网络的图像生成模块利用多频率图像进行工业图像的生成，更有利于生成真实的图像；异常检测则是利用提取到的图像中重要的特征信息实现工业图像异常检测及分类。本发明使得工人能够在不接触测量目标的情况下进行精准的测量，解决了工业环境中接触式测量所带来的危险和效率低下问题，通过实现非接触式异常检测，成功提升了生产线的运行效率、降低了测量误差率，并为工业生产过程中的自动化和智能化发展奠定了坚实的基础。

本发明授权一种基于多频率融合的工业图像异常感知系统在权利要求书中公布了：1.一种基于多频率融合的工业图像异常感知系统，其特征在于，包括多频率融合模块、基于生成对抗网络的图像生成模块和异常检测分类模块：多频率融合模块：针对工业生产和制造中提供的工业图像数据集，使用多频率分支从工业图像中提取出不同频率的子图像，图像的频率能量分布包含了不同类型的图像信息，较低频率分量图像包含图像的整体结构和背景信息，而较高频率的分量则反映了图像的细节和纹理信息，从而获得更丰富的图像特征信息；所述多频率融合模块包含了卷积神经网络和残差网络，首先将提取到的工业图像输入到卷积神经网络中进行特征提取，同时将工业图像分解为不同频率的子图像，再将频率子分支输入到残差网络，使用残差网络将得到的多分支子图像进行频率增强；多频率融合模块包括：卷积操作单元：在卷积层输入工业图像进行不同的卷积操作，对输入卷积层的工业图像采取不同的步幅进行下采样操作；所述的卷积操作单元：假设I为一张输入的工业图像，c＝[c1,c2…cn]为卷积运算的卷积核，cn表示第n个卷积核的参数核步幅；将输入的工业图像I和卷积c核进行卷积下采样操作，运算输出的初步分频图像为F＝[F1,F2,…Fn]，则第n个分支的初步频率图像表示如下公式： 在上述公式中表示卷积运算，是一个二维的卷积核，s表示卷积核的移动步幅数，每一个卷积核的移动步幅不同，经过不同步幅的卷积操作获得不同尺寸的下采样图像；上采样差值单元：将卷积后得到的子图像上采样成与上一频率同样尺寸的图像并作差值；所述的上采样差值单元：为了去除图像中相对低频的信息，保留高频信息，将每一个分支获得的下采样图像，经过一个双线性上采样操作，获得与相邻的高频图像相同大小的尺寸的图像双线性上采样操作的公式如下：x＝p*M-1P-1y＝q*N-1Q-1fp,q＝1-u*1-v*fx1,y1+u*1-v*fx2,y2+1-u*v*fx3,y3+u*v*fx4,y4在上述公式中M,N表示原始图像的尺寸，P,Q表示上采样后的尺寸，x,y表示像素点在原图像中的位置，fx1,y1,fx2,y2,fx3,y3,fx4,y4表示目标像素位置邻近像素值，fp,q则表示目标像素的值，u＝x-x1和v＝y-y1表示目标像素在最近邻像素之间的相对距离，从f0,0到fp,q构成了上采样图像将得到的上采样图像与邻近的高频图像进行差值得到差值图像fn，差值公式如下： 残差增强单元：加入残差网络来弥补分频造成的信息丢失；所述的残差增强单元：为了弥补在分频时造成信息的丢失，融入了一个残差网络来对分频的图像进行增强，通过残差信息与原始信息相融合，有助于各支路在不同阶段选择性地融合相应的频率分量，从而显著提高了各分支的频率信息表示能力，并逐步利用增强的低频图像与高频图像拼接起来增强高频的图像，残差增强频率的公式如下所示： 在上述公式中，Res·表示频率增强单元，将经过差值的图像再经过一个残差神经网络进行频率增强，Con·则表示将两个增强的频率图像进行拼接，为经过频率增强后的多频率分支图像；由于高频分支图像的增强较为困难，采用渐进的方式，由低到高的对高频分支的图像进行增强，逐步加强低频信息的表示能力，并将其作为引导，帮助增强高频成分；通过将不同频率成分进行连接，能够更好地捕捉它们之间的相互关系，从而提升整体的图像增强效果，能够有效地处理高频特征的细节，使得增强后的图像更加清晰和丰富；求和单元：将增强后的分频图像与其相邻的高频图像拼接起来后再进行一次增强；所述的基于生成对抗网络的图像生成模块包括一个融合了残差块的生成器单元和一个鉴别器单元，生成器单元对不同分支的频率图像进行生成，鉴别器单元评估图像的真实性，输出一个生成结果；所述的生成器单元：生成器G的输入有两个，一个是经过频率分解的不同频率的图像，另一个是高斯分布采样的随机噪声向量Z∈RZ～N0,1，噪声向量首先送入一个全连接层，然后和不同频率的分支图像一起送入卷积模块和上采样模块对图像特征进行上采样操作，用于提取图像特征；生成器G的网络骨干采用上采样块，具体包括卷积层、残差块、自注意力层和上采样层；自注意力层使生成器G具有更多的非线性，能够使生成器生成更真实的图像，生成器的公式如下： 其中上述公式G·为生成器网络骨干相对应的操作，IG为经过生成器所生成的融合多频率分支信息的合成图像；所述的鉴别器单元：鉴别器D的输入有两个，一个是多频率分支的真实图像，另一个是生成器生成的融合多频率分支的合成图像IG,鉴别器D希望通过区分合成图像IG和真实图像来帮助生成器G生成更真实的图像，鉴别器D将生成的图像IG转换为特征图，并通过一系列下采样块对输入的特征图进行下采样操作，最后一层鉴别器从较大的图像区域中获取信息，并引导生成器生成较好的全局一致性的图像，同时为了提高鉴别器的泛化能力，添加正则化项使鉴别器对输入进行以零为中心的梯度惩罚，零中心梯度惩罚函数公式如下： 所述的异常检测分类模块包括一个编码器、一个包含编解码特征融合模块EDFF的解码器、一个包含加权特征融合模块WFF的特征融合器以及一个集成了EDFF和WFF的分类器；将生成的多频率分支图像作为分类模型的输入，通过编码器和解码器来对生成图像的重要特征进行提取，后将输出送入特征融合器中，以保留重要的分类信息，最终送入分类器中进行分类；所述的编码器和解码器：每个编码器的块由一个带残差连接的卷积块和最大池化层组成；输入的图像先经过1×1的卷积后缩小至原先通道的16，后经过3×3的卷积与残差连接保留先前的特征，将图像恢复到原来的尺寸；增强了网络的学习能力，以捕获丰富的图像特征，然后经过批标准化和ReLU激活函数，后采用最大池化将特征图空间维数减半；将编码器的输出，输入到解码器中，每个解码器由转置卷积层、EDFF模块、和残差卷积块组成，转置卷积层将特征映射的空间维度恢复到与编码器的空间维度相对应的大小，并统一特征映射的通道数；EDFF模块预融合编码器和解码器的特征，残差卷积块进一步学习更关键的分类特征，输出经过softmax激活函数进行分类；所述的EDFF模块：将编码器相应层的输出和解码器上一层的输出特征相融合；将尺寸为C×W×H的特征XE和XD经过1×1的卷积拼接和1×1的卷积重塑后与输入特征相乘再相加得到最后输出的特征Xf，EDFF的公式如下所示： 其中上述公式中，XE和XD表示为编码器和解码器的特征，Conv·为1×1的卷积，CR·为对特征图进行1×1的卷积操作并重塑为1×HW的大小，RS·为特征图重塑为1×H×W；编码器的浅层特征为解码器特征提供解码器所需的纹理和细节信息，解码器的深层特征为编码器特征提供更高层次的语义抽象，从而有效地减小特征之间的语义差距；所述的特征融合器：将解码器的输出输入到特征融合器中，特征融合器由步长为2的卷积层和WFF模块组成，利用步长为2的卷积层来减小特征映射，保留重要的信息，利用WFF模块引导不同层次的分类特征进行融合；所述的WFF模块：将解码器的特征和特征融合器中的特征根据加权进行融合，使不同层次的特征相互引导进行融合，将不同层次的特征经过求和及卷积后进行拼接，获得特征融合的权重，根据权重对输入的特征进行融合，WFF的公式如下：Xweight＝ConConvXS,XS+XC,ConvXC

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人太原理工大学，其通讯地址为：030024 山西省太原市迎泽西大街79号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。