买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:华中科技大学
摘要:本发明涉及计算机视觉技术领域,提供了一种用于少样本缺陷图像生成的扩散模型微调方法和装置。方法包括:将多个缺陷词元和单个产品词元组合得到不平衡异常文本提示;选取少样本缺陷图像以及缺陷图像掩码作为缺陷图像分支的输入,根据缺陷图像掩码,将缺陷词元对齐到图像中的缺陷区域,优化第一目标函数和第二目标函数;选取固定数量的正常图像作为正常图像样本分支的输入,用不平衡异常文本提示中的与产品相关的部分,优化第三目标函数;混合训练策略用于使不同缺陷类别的缺陷图像共同参与训练。本发明在工业场景中每一缺陷类别的缺陷图像数量较少的情况下,依旧能够实现较理想的训练效果,从而使用训练完成的扩散模型生成缺陷图像。
主权项:1.一种用于少样本缺陷图像生成的扩散模型微调方法,其特征在于,缺陷图像生成模型包括U-Net编码器、U-Net解码器、注意力模块、第一目标函数、第二目标函数和第三目标函数;其中,U-Net编码器、U-Net解码器、注意力模块、第一目标函数和第二目标函数构成缺陷图像分支,U-Net编码器、U-Net解码器、第三目标函数构成正常图像分支;两分支的训练过程分开进行,但在共享的U-Net上实施;使用混合训练策略对缺陷图像生成模型进行训练,方法包括:将多个缺陷词元和单个产品词元组合得到不平衡异常文本提示,将所述不平衡异常文本提示和不平衡异常文本提示中的与产品相关的部分作为引导条件分别输入至所述缺陷图像分支和所述正常图像分支中;选取少样本缺陷图像以及对应的缺陷图像掩码作为缺陷图像分支的输入,所述缺陷图像分支获取缺陷图像的特征,并根据缺陷图像所对应的缺陷图像掩码,将不平衡异常文本提示中的缺陷词元对齐到图像中的缺陷区域,以优化所述第一目标函数和第二目标函数;选取固定数量的正常图像作为正常图像样本分支的输入,所述正常图像分支获取正常图像的特征,使用不平衡异常文本提示中的与产品相关的部分,优化第三目标函数;其中,所述混合训练策略用于使不同缺陷类别的缺陷图像共同参与训练。
全文数据:
权利要求:
百度查询: 华中科技大学 用于少样本缺陷图像生成的扩散模型微调方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。