买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种全二值卷积的极少计算量的端到端双目立体匹配网络PBCStereo，用于双目深度估计任务。基于二值卷积模块、二值上采样模块、输入层编码方法的设计，PBCStereo中的所有卷积过程都为二值卷积。与其他依赖于浮点卷积的双目立体匹配方法相比，PBCStereo节省了10倍以上的计算次数，对于输入分辨率为512*256的输入图像对，PBCStere完成深度估计的计算量开销仅为0.64GOPs。因此，PBCStereo更容易被部署在计算资源受限的边缘设备上，同时它在SceneFlow与KITTI数据集上也实现了相当的准确性，SceneFlow上的端点误差为1.84，KITTI2012上的三像素点误差百分比为4.46％，KITTI2015上的三像素点误差百分比为4.73％。

主权项：1.一种基于全二值卷积的极少计算量的端到端双目立体匹配网络，其特征在于，所述立体匹配网络的输入为双目摄像头拍摄的左、右两张图像，卷积过程全部为二值卷积，执行步骤包括如下步骤：步骤1：采用二值编码方法完成对输入卷积层的二值化；步骤2：采用二值2D卷积模块和二值2D上采样模块构建的孪生特征提取网络，提取左、右两张图像的特征结构，得到对应的左、右两张特征图；步骤3：将步骤2得到的左、右特征图按照组相关性构建成本量；步骤4：采用二值3D卷积模块和二值3D上采样模块构建的成本量聚合网络，将步骤3得到的成本量进行聚合，得到初始视差；步骤5：采用二值2D卷积模块和二值2D上采样模块构建的视差优化网络，对步骤4得到的初始视差进行精细的视差修正，得到最终输出；输入和输出特征图是3维数据，步骤2中二值2D卷积模块的构建方法包括如下步骤：步骤A1：对输入特征图的二值化操作：输入特征图会经过RSign2D符号函数处理，在通道维度上加上各自对应的偏置值以后被二值化为-1+1；步骤A2：对权重的二值化操作：通道维度上先求出权重的均值作为通道缩放因子，再用Sign符号函数将权重二值化为-1+1；步骤A3：二值卷积操作：将步骤A1得到的二值输入特征图与步骤A2得到的二值权重进行卷积操作，再在通道维度上乘以步骤A2中求得的通道缩放因子，得到二值卷积的输出；步骤A4：对步骤A3的二值卷积输出进行2D批归一化处理；步骤A5：对步骤A4的输出使用RPRelu2D激活函数激活，通过可学习偏置的激活函数调整输出的分布情况，得到该二值2D卷积模块的最终输出；输入和输出特征图是3维数据，步骤2中基于二值2D上采样模块的上采样方法包括如下步骤：步骤B1：使用双线性插值将输入的特征图分辨率先提升1倍，对齐方式选择按像素角点对齐；步骤B2：对步骤B1的插值结果采用所述二值2D卷积模块进行运算，得到一个通道数与输入特征图相同的张量；步骤B3：将步骤B2得到的结果与输入特征图级联到一起，从而有效地结合网络浅层特征和深层特征，同时可利用更多的特征通道去缓解特征同质化的问题；步骤B4：对步骤B3的级联结果采用所述二值2D卷积模块再次进行处理，将输出通道转化为网络模型中的设定值；所述步骤4具体为：成本量聚合网络为类U-net式结构，成本量先通过6层二值3D卷积得到低分辨率下的初始聚合特征，再通过3个二值3D上采样模块上采样恢复，最后经过SoftMax函数进行加权视差回归，得到初始视差估计；所述步骤5具体为：在原输入图像的12分辨率尺度上，将右输入图像与初步视差进行融合，生成出一张新的左输入图像，再计算原始左输入图像与新生成输入图像之间的差，利用这个差值通过7层二值2D卷积和4个二值2D上采样模块得到需要弥补的视差信息。

全文数据：

权利要求：

百度查询： 东南大学 基于全二值卷积的极少计算量的端到端双目立体匹配网络