买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于无监督相机色彩空间映射的AI‑ISP泛化方法，先通过不同相机所获取的图像并进行图像预处理，从而构建出训练数据集；接着搭建了一套基于循环对抗生成网络的无监督训练框架，通过训练数据集训练出本发明提出的色彩空间分块映射网络；最后，通过串联训练完毕的色彩空间分块映射网络与AI‑ISP网络的方式，实现同一AI‑ISP在不同相机上部署，实现了AI‑ISP的跨相机泛化。

主权项：1.一种基于无监督相机色彩空间映射的AI-ISP泛化方法，其特征在于，包括以下步骤：1、图像采集及预处理；1.1、设置相机A与相机B的图像采集格式为RAW格式，采集后的图片以RGGB阵列形式排列；1.2、在相同场景条件下，分别使用相机A与相机B采集若干张图像，其中，将相机A采集到的图像保存在图像集合A中，将相机B采集的图像保存在图像集合B中；1.3、对于任意一个图像集合，将图像集合中的每一张图像先进行归一化处理，再进行通道转换，使每一张图像由原来的一通道转换为四通道，最后将通道转换后的图像裁剪成H*W大小的图块；最后，将图像集合A中的每一张图像进行处理后存入图块集SetA；将图像集合B中的每一张图像进行处理后存入图块集SetB；2、搭建循环对抗生成网络；循环对抗生成网络包括两个生成器和两个判别器，其中，两个生成器均采用相机色彩空间分块映射网络，分别记为Ga→b和Gb→a，Ga→b用于将相机A的色彩空间下的图像映射至相机B的色彩空间，另一个网络Gb→a用于将相机B的色彩空间下的图像映射至相机A的色彩空间；相机色彩空间分块映射网络由特征提取网络以及参数矩阵预测网络组成，其中，特征提取网络具有卷积分支和Transformer分支两个分支，并通过变形与卷积操作来进行两个分支的特征融合，具体来说，卷积分支由8层卷积层组成，Transformer分支由4层Transformer层组成，每2层卷积层与1层Transformer层组成一个小块；对于输入小块的图像I，首先会被同时送入第1层卷积和Transformer层，第1层卷积处理完图像后，将图像直接送入第2层卷积，Transformer层会将图像分块，下采样并进行嵌入操作转化为若干视觉向量，再进行自注意力操作与FeedForward操作，随后视觉向量将会形状整理并上采样回和第2层卷积的输出相同的形状，并直接进行相加，在2倍下采样后作为下一个块的输入；最后一个小块将不会进行形状整理与上采样，而是直接作为特征提取网络的输出，输出形状为I'；各个卷积层的输出通道数量分别为16,32,32,64,64,128,128,256，使用LeakeyRelu作为激活函数；Transformer层的嵌入层维度为32,64,128,256，使用Gelu作为激活函数；参数矩阵预测网络由两层全连接层组成，由特征提取网络的输出I'作为输入，全连接层的输出维度分别为128与56，全连接层的输出为色彩空间映射矩阵CCM；随后，色彩空间映射矩阵将被插值上采样得到CCM'，然后再被重新排列为形状CCM”；同时，原输入图像I由原四个通道扩展为十四个通道，并排列组合成图像Ipoly，最后，Ipoly与CCM”进行逐元素的矩阵乘法，得出整个网络的输出两个判别器分别记为Da、Db，每个判别器均由一个五层卷积神经网络和一个平均池化层组成；其中，五层卷积神经网络的每层选用LeakyReLU作为激活函数，每层卷积核的大小为4*4，通道数分别为64、128、256、512、1，并在最后一层卷积过后接平均池化层，从而将特征图池化为判别概率；3、训练循环对抗生成网络；3.1、从SetA中随机取样一张图块，记为IA；从SetB中随机取样一张图块，记为IB；3.2、将图像IA输入相机色彩空间分块映射网络Ga→b，得到输出图像IAB；同理，将图像IB输入相机色彩空间分块映射网络Gb→a，得到图像IBA；再将图像IB输入相机色彩空间分块映射网络Ga→b，得到图像IBB，将图像IA输入相机色彩空间分块映射网络Gb→a，得到图像IAA；然后计算一致性损失Lossiden；Lossiden＝MSEIBB,IB+MSEIAA,IA其中，MSE表示计算两幅图像中各像素点的均方差；3.3、将图像IAB输入判别器Da，得出判别概率将图像IBA输入判别器Db，得出判别概率然后计算生成器的对抗损失Lossgen-gan； 3.4、将图像IAB输入相机色彩空间分块映射网络Gb→a，得到图像IABA，将图像IBA输入相机色彩空间分块映射网络Ga→b，得到图像IBAB，然后计算循环一致损失Losscycle；Losscycle＝MSEIABA,IA+MSEIBAB,IB3.5、计算循环对抗生成网络中生成器的总损失Lossgen；Lossgen＝Lossiden+Lossgen-gan+Losscycle3.6、将图像IA输入判别器Db，得出判别概率将图像IB输入判别器Da，得出判别概率然后计算循环对抗生成网络中判别器的总损失Lossdis； 3.7、根据生成器的总损失Lossgen，利用梯度下降法更新相机色彩空间分块映射网络Ga→b、Gb→a的参数；根据判别器的总损失Lossdis，利用梯度下降法更新判别器Da、Db的参数；3.8、一轮训练完毕后，重复步骤3.1-3.7，直到网络收敛，得到训练完成后的循环对抗生成网络；4、可泛化ISP部署；4.1、利用图块集SetA训练AI-ISP网络，得到训练完成后的网络记为ISPA；4.2、从训练完成后的循环对抗生成网络中截取相机色彩空间分块映射网络Gb→a，然后将网络ISPA串联在Gb→a的输出端；准备好在A相机数据集上以任意方式训练完毕的AI-ISP网络，记为ISPA，以及相机色彩空间分块映射网络Gb→a；4.3、将相机B采集的图像IB输入到相机色彩空间分块映射网络Gb→a中，从而输出图像IBA，再将图像IBA输入至网络ISPA，得到质量良好的RGB图像FA。

全文数据：

权利要求：

百度查询： 电子科技大学 徐州新川智能科技有限公司 基于无监督相机色彩空间映射的AI-ISP泛化方法