买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海大学

摘要：本发明属于计算机视觉技术领域，涉及一种基于空间稀疏扩散模型的快速图像生成方法与装置，通过从色彩、结构以及内容三个维度，综合分析参照图像与目标图像的逼真度，判断参照图像是否存在重建需求，判断不存在则扩散模型直接输出，反之提取扩散模型生成器网络当前各卷积层针对目标图像的学习特征图像，确定扩散模型生成器网络当前各卷积层的编辑激活块索引序列，结合参照图像重新输入生成器网络内进行迭代模拟，有效节省计算资源和推理时间，待扩散模型输出结果输出后，分析扩散模型针对目标图像的生成能效评价系数并进行反馈，推动扩散模型技术的不断发展和完善，为图像生成领域带来更多的创新和突破。

主权项：1.一种基于空间稀疏扩散模型的快速图像生成方法，其特征在于，包括：S1.扩散模型输入：向扩散模型输入目标图像，由扩散模型生成器网络模拟生成目标图像的复原图像，记为参照图像；S2.参照图像重建需求判断：通过扩散模型判别器网络分析参照图像与目标图像的逼真度，判断参照图像是否存在重建需求，若判断存在，则执行S3，若判断不存在，则执行S5；S3.卷积层编辑激活块确定：提取扩散模型生成器网络当前各卷积层针对目标图像的学习特征图像，将学习特征图像按照设定比例划分为各激活块，激活块包括激活特征数据和图像位置坐标，确定扩散模型生成器网络当前各卷积层的编辑激活块索引序列；S4.目标图像迭代模拟：将参照图像和当前各卷积层的编辑激活块索引序列重新输入扩散模型内，进行目标图像的迭代模拟后重复S2；S5.扩散模型输出：将参照图像作为扩散模型输出结果输出；S6.目标图像生成能效评价：待扩散模型输出结果输出后，分析扩散模型针对目标图像的生成能效评价系数并进行反馈；所述参照图像与目标图像的逼真度的分析过程为：将参照图像与目标图像一同导入扩散模型判别器网络，由扩散模型判别器网络各比对层分别输出参照图像与目标图像的色彩比对损失系数、结构比对损失系数以及内容比对损失系数；计算参照图像与目标图像的逼真度，，其中分别为预设的色彩比对损失系数、结构比对损失系数、内容比对损失系数对应权重占比，且，为自然常数；所述参照图像与目标图像的色彩比对损失系数的获取过程为：将参照图像与目标图像均转化RGB颜色空间，分别获取参照图像内、目标图像内各像素的RGB值，按照像素位置将参照图像内各像素与目标图像内各像素一一对应，并将目标图像内各像素的RGB值作为其对应参照图像内像素的RGB标准值，进而将参照图像内各像素的RGB值、RGB标准值分别记为、，其中为参照图像内各像素的编号，，计算参照图像内各像素的色度偏差指数，；将参照图像与目标图像均转化HSV颜色空间，获取参照图像内、目标图像内各像素的HSV值，同参照图像内各像素的色度偏差指数计算方法一致，计算参照图像内各像素的色调偏差指数；由公式得到参照图像与目标图像的色彩比对损失系数，其中为参照图像内像素数量；所述参照图像与目标图像的结构比对损失系数的获取过程为：将参照图像与目标图像均转化为灰度图像，应用水平和垂直方向上的Sobel算子进行卷积运算，分别获取参照图像、目标图像内各像素的梯度幅值和梯度方向角，根据预设的像素梯度幅值阈值，分别筛分参照图像、目标图像内各边缘像素和各非边缘像素，进而勾勒出参照图像、目标图像的边缘区域和非边缘区域；将参照图像的边缘区域轮廓与目标图像的边缘区域轮廓进行比对，获取参照图像与目标图像的边缘轮廓重合度，分别统计参照图像、目标图像的边缘区域像素数量，记为，由公式得到参照图像与目标图像的边缘结构相似度；对参照图像、目标图像的非边缘区域分别进行最小外接矩形构建，获取参照图像与目标图像的非边缘尺寸匹配度；依据参照图像、目标图像非边缘区域内各像素的梯度方向角，分别构建参照图像、目标图像非边缘区域的梯度方向直方图，将二者进行重合比对，获取参照图像与目标图像的非边缘一阶纹理相似度；依据参照图像、目标图像非边缘区域内各像素的梯度幅值，获取参照图像与目标图像的非边缘二阶纹理相似度；由公式得到参照图像与目标图像的非边缘结构相似度；计算参照图像与目标图像的结构比对损失系数，；所述参照图像与目标图像的内容比对损失系数的获取过程为：计算参照图像的像素灰度标准差，将其作为参照图像的噪声水平指数；获取参照图像内各伪影区域的面积，将伪影区域累加面积与参照图像面积的比值作为参照图像的伪影水平指数；将伪影水平指数和噪声水平指数的累加值作为参照图像与目标图像的内容比对损失系数。

全文数据：

权利要求：

百度查询： 上海大学 一种基于空间稀疏扩散模型的快速图像生成方法与装置