买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京师范大学

摘要：本发明涉及一种从与相机并置的点光源照明条件下获取的单幅图像估计物体表面材质反射属性的方法，首先对一组复杂三维形状模型，分别在与相机并置和偏置的点光源照明条件下，渲染不同材质属性的图像数据，构建材质数据集；其次构建一个基于注意力机制的单幅图像材质反射属性估计网络，单幅图像材质反射属性估计网络包含一个初始估计网络模块和两个优化估计网络模块，每个模块采用注意力机制提取反射属性特定的特征；损失函数中加入了与相机偏置的点光源照明条件下根据材质属性估计结果渲染生成的图像的损失项，用来减小高光部分对于材质属性估计的影响。本发明可应用于计算机图形学、虚拟现实与增强现实领域，提升属性的估计精度并能降低高光影响。

主权项：1.一种从单幅图像估计物体表面材质反射属性的方法，其特征在于，包括：步骤1，对一组带有材质反射属性的三维模型，分别在与相机并置和偏置的点光源照明条件下，设定相机内外参数矩阵，在不同视点下渲染生成不同材质属性的图像数据，构建材质数据集；步骤2，构建基于注意力机制的材质反射属性估计网络，其中，材质反射属性估计网络包含一个初始估计网络模块和两个优化估计网络模块，初始估计网络模块和优化估计网络模块均采用自编码器结构，初始估计网络模块先使用编码器对输入图像提取特征，然后对每个反射属性用一个单独的注意力模块提取属性特定的编码特征，再使用解码器对特征进行解码，得到初始反射属性估计结果，在初始估计模块后以堆栈的形式接入两个优化估计网络模块对初始估计结果进行优化，优化网络模块对每个反射属性采用单独的自编码器进行优化，同样在编码器后接入注意力模块提取属性特定的特征，并在对应的编码层和解码层之间添加了跳连结以加速网络的训练；步骤3，设计损失函数，采用步骤1中的材质数据集对材质反射属性估计网络进行网络训练，获得神经网络模型，其中，损失函数包括如下损失：初始估计网络模块和每个优化估计网络模块对每种材质属性估计结果的L2损失；采用与相机并置的点光源照明条件下，分别根据初始估计网络模块和每个优化估计网络模块估计的材质反射属性渲染生成的图像的L2损失；以及与相机偏置的点光源照明条件下，分别根据初始估计网络模块和每个优化估计网络模块估计的材质反射属性渲染生成的图像的L2损失；其中，损失函数采用下式计算: 其中，下标A,R,S分别表示漫反射项、粗糙度和镜面反射项，上标0,1,2则分别表示初始估计、第一次优化和第二次优化，分别表示漫反射系数初始估计、第一次优化和第二次优化的L2损失；表示粗糙度初始估计、第一次优化和第二次优化的L2损失；分别表示镜面反射系数初始估计、第一次优化和第二次优化的L2损失，Lrender表示渲染损失，包含分别在与相机并置和偏置的点光源照明条件下，分别对初始估计和优化估计的材质属性渲染生成的图像的L2损失，λA、λR、λS、λrender分别表示漫反射损失、粗糙度损失、镜面反射损失和渲染损失的权重；步骤4，根据步骤3中训练完成的神经网络模型，输入与相机并置的点光源照明条件下获取的单幅图像，输出单幅图像中物体表面的材质反射属性贴图。

全文数据：

权利要求：

百度查询： 北京师范大学 从单幅图像估计物体表面材质反射属性的方法