买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明公开了一种基于反馈强化学习的小样本表面缺陷图像生成方法及系统，该方法包括：获取少量表面缺陷图像样本，进行语义标签标注，构建训练集；构建条件扩散模型，利用训练集训练条件扩散模型，完成条件扩散模型的初步微调；扩充语义标签，利用微调后的条件扩散模型生成每一语义标签下的多张初始表面缺陷图像；对每一语义标签下的多张初始缺陷图像进行人工评分，进而构建评价数据集；构建奖励模型，利用评价数据集训练奖励模型；扩充语义标签，构建语义标签库，并基于奖励模型二次优化条件扩散模型，生成每一语义标签所对应的最优表面缺陷图像。本发明能够有效提高表面缺陷图像样本生成的性能和数据增强的能力。

主权项：1.一种基于反馈强化学习的小样本表面缺陷图像生成方法，其特征是，包括：获取少量表面缺陷图像样本，通过人工标注对每一表面缺陷图像样本进行语义标签标注，构建训练集；构建条件扩散模型，利用训练集训练条件扩散模型，完成条件扩散模型的初步微调；扩充语义标签，利用微调后的条件扩散模型生成每一语义标签下的多张初始表面缺陷图像；对每一语义标签下的多张初始缺陷图像进行人工评分，以每一语义标签所对应生成的多张初始缺陷图像及其评分，构建评价数据集；构建奖励模型，利用评价数据集训练奖励模型；所述奖励模型的主干网络采用VGG16网络，将评价数据集中的语义标签及其对应的初始缺陷图像输入至奖励模型中，奖励模型输出该初始缺陷图像的评分，以此利用评价数据集训练奖励模型；扩充语义标签，构建语义标签库，并基于奖励模型二次优化条件扩散模型，生成语义标签库中每一语义标签所对应的最优表面缺陷图像；扩充语义标签，构建语义标签库，获取大量语义标签，并期望获得对应的缺陷样本，以此建立强化学习的基本环境；给定语义标签和对应的生成样本，在基本环境下通过奖励模型获得对应的奖励；基于基本环境，PPO策略被用于最大化条件扩散模型的奖励；具体的，在扩散模型被训练的过程中，清晰图像通过以下关系被估计：其中表示被估计的清晰图像；xt表示噪声图像；αt＝1-βt；βt，t＝[0,...T]为所加噪声的方差序列；y表示语义标签；t表示步长；利用清晰图像，奖励模型的值被最大化，同时初始微调条件扩散模型分布和当前强化学习分布的KL散度被用于限制扩散模型分布被过度优化，并且被估计的清晰图像被限制应服从现有的样本分布DSFT，因此，强化学习的奖励函数被设置为： 其中，φ为被学习的参数，γ为KL散度的置信度，D表示评价数据集；在利用条件扩散模型生成每一语义标签所对应表面缺陷图像的过程中，利用奖励模型评估生成的表面缺陷图像，使条件扩散模型生成最大化奖励的表面缺陷图像，以此完成二次优化条件扩散模型。

全文数据：

权利要求：

百度查询： 山东大学 基于反馈强化学习的小样本表面缺陷图像生成方法及系统