买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中北大学

摘要：本发明属于计算机三维重建、计算机视觉和大数据云计算等领域，具体涉及一种基于自动解码器的层次结构三维重建方法，解决了目前主流的基于深度学习的三维重建技术存在着无法重建层次化结构、内部结构损失或内部结构重建精度低的问题。本发明采用的层次化形状表示和自动解码器框架，通过改进卷积神经网络以提取数据特征，在自动解码器框架中学习空间两点间的关系，在神经有符号距离场中预测任意空间点的最近表面的有符号距离值，在精确重建具有内部结构的三维形状方面表现出良好的性能。本发明方法设计了新的映射关系，提高了神经网络模型学习层次化结构的能力，使神经网络模型能够更有效地从数据中学习并重建出具有内部结构的三维形状。

主权项：1.一种基于自动解码器的层次结构三维重建方法，其特征在于：包括以下步骤：步骤1，对ShapeNet数据集进行数据集划分，包括如下子步骤：步骤1.1，首先导入collections，glob，numpy依赖项，加载ShapeNet数据集路径和配置文件；步骤1.2，使用glob函数获取指定路径下的所有文件路径，同时读取所有文件所在的目录；步骤1.3，采用非随机性的方式对所有样本进行排序，并且根据设定的比例对ShapeNet数据集进行划分，计算出相应数量的样本数量；步骤1.4，将划分结果保存到统一格式的.npz文件中；步骤2，对划分后的ShapeNet数据集进行数据预处理，包括如下子步骤：步骤2.1，调用数据缩放函数，将原始数据转换为OFF格式的三维模型文件，数据缩放函数接收一个文件路径作为参数，表示待处理的三维模型文件，根据输入文件路径确定输出文件路径，如果输出文件已存在，则直接跳过，使用trimesh.load加载三维模型文件，获取模型对象，调用mesh函数将模型对象转换为网格对象，并计算模型的边界大小和中心点坐标，将网格对象的中心点移到原点，并根据边界大小进行缩放操作，以确保模型适应给定大小，将缩放后的模型导出为OFF格式的文件；步骤2.2，设置采样点对数为15000，设置三种采样范围：三维形状的表面采样、包围盒内采样和三维形状的空间采样；定义生成标签的函数，接收一个文件路径作为输入，所述文件路径存放待处理的缩放后的三维模型；使用生成标签函数，调用编译文件为每对采样点生成对应的二进制标志，并在函数内部再次定义三个函数分别对数据进行下采样，确保采样点对的数量不超过指定值；平衡正负样本，并下采样至指定数量；将点云坐标转换为网格坐标，并且为每个采样点获取有符号距离值的数据；步骤2.3，定义体素化点云函数，解析输入的文件路径，构建采样后的点云数据文件路径；初始化一个全零数组，用于存储体素化后的点云数据，接受最小值、最大值和分辨率作为输入，生成三维网格点的坐标数组，使用KD树进行最近邻搜索，将最近邻点对应的体素设为1，对体素化后的数据进行压缩，并将点云数据、压缩后的体素数据以及其他相关信息保存为统一格式的.npz文件；步骤2.4，将步骤2.2和步骤2.3处理后的数据集保存到确定的文件目录中，为模型的训练和重建提供数据来源；步骤3，搭建网络架构，其包括编码器即特征提取网络、点嵌入网络、自动解码器和SDF网络，将步骤2预处理后的数据集输入到步骤3中搭建的网络架构中训练，调整网络架构的超参数和权重，得到训练完成的神经网络模型，包括如下子步骤：步骤3.1，采用编码器的深层3D卷积网络逐层提取输入数据的空间特征，每个3D卷积层后应用一个批量归一化层和ReLU激活函数，以增强编码器的非线性能力和稳定性；步骤3.2，构建编码器即特征提取网络，编码器利用搭建的卷积层从处理后的数据中提取深层次的特征，最终将得到的特征图作为点嵌入层的输入数据之一；构建点嵌入网络，点嵌入网络扩展点坐标维度，并且将点坐标根据位移向量进行位移，再对编码器生成的特征图进行网格采样，提取位移后的点坐标的特征，将所有层的特征以及每个位移后的点坐标对应的特征沿特征维度合并，构成一个综合的特征表示，再调整特征的形状，将来自不同位移和层级的特征统一到一个连续的向量中，最后将原始点的位置信息与提取的特征进行结合；构建自动解码器，使用构建的七层以1D卷积层的形式实现的全连接网络作为自动解码器部分；步骤3.3，构建SDF网络，将步骤2预处理后的数据集输入到步骤3.2构建的编码器，使用构建的十层全连接网络作为SDF网络即SDFNetwork部分学习采样点的有符号距离值，使用自动解码器学习一对采样点之间的空间关系；步骤4，将步骤2中用于重建的数据输入步骤3训练完成的神经网络模型中，利用移动立方体算法重建具有内部结构的形状，包括如下子步骤：步骤4.1，载入步骤3训练完成的神经网络模型的参数、阈值和步骤2.3得到的预处理后的数据；步骤4.2，定义网格的初始分辨率，再使用逐级细化操作增加网格的分辨率，在每一级细化中，计算网格中心；步骤4.3，利用每个点的有符号距离值的符号，将符号相反的点作为一对点，使用自动解码器预测这对点的二进制标志；步骤4.4，使用模型的SDF网络预测每个网格中的点对应的有符号距离值，根据设定的阈值确定参与重建算法的点，重建具有内部结构的三维形状。

全文数据：

权利要求：

百度查询： 中北大学 一种基于自动解码器的层次结构三维重建方法