买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：黑龙江科技大学

摘要：本发明公开了一种改进型RoIAlign区域特征聚集算法，本方法包括如下步骤:首先将源图像和目标图像几何中心对齐，对齐方法采用改进型中心点对齐；而后进行双线性插值计算，为提高计算效率和计算精度，将浮点运算转换成整数运算；本发明优化了RoIAlign区域特征聚集方法，将源图像与目标图像的中心点坐标进行重合，使得映射过程充分并且均匀的利用了源图的所有像素，避免了特征图池化时造成的区域信息丢失，使得目标图像插值效果更好，通过将浮点运算转换成整数运算，极大的减小了计算量，且由于移位运算计算效率远高于普通乘除运算，从而提高了计算效率，降低了硬件需求。

主权项：1.一种改进型RoIAlign区域特征聚集方法，其特征在于，步骤如下：S1采用中心点对齐方法将源图像和目标图像几何中心对齐，假设源图像尺寸m×n，目标图像大小为a×b，则两幅图像的宽度与高度比例分别为ma和nb，则目标图像中某像素点dstX，dstY，通过插值比例映射回源图像中相应像素位置srcX，srcY，改进源图像与目标图像的对齐方式，将左上角对齐改进为中心点对齐，此时计算公式为下式： 可将公式进一步变形为： 公式的后半部分可视为整个插值运算的控制因子，其取值可正可负，此时源图像与目标图像的坐标中心为坐标系原点，将源图像与目标图像的中心点坐标达到重合，由于该控制因子的存在，使得映射过程充分并且均匀的利用了源图的所有像素；S2进行双线性插值计算，为提高计算效率和计算精度，将浮点运算转换成整数运算，计算方法为首先对目标图像坐标点取整，对小数部分按照倍率放大后取整，再对其进行向右的移位运算，达到除以放大倍率的目的，从而得到最终插值结果；在S2步骤中，对目标图像坐标点取整，对小数部分按照倍率放大后取整的方法如下：为求得目标图像某像素点x，y处的像素值fx，y，假设该点坐标为浮点数26.15，25.66，首先对目标图像坐标点取整，对小数部分按照倍率放大后取整，如下式： 其中，New_x与New_y为目标点浮点坐标值的整数部分，Δx与Δy是浮点数小数部分倍率放大后的结果取整值，inv_x与inv_y表示1-x和1-y，以上数据均利用floor函数进行向下取整；将这些参数代入下式： 式中参数均为整数，且已知源图像在0，0、0，1、1，0以及1，1处的像素值f0，0、f0，1、f1，0以及f1，1均为整数，得到整数Integer，再对其进行向右的移位运算，移动22位，达到除以放大倍率4194304的目的，得到最终插值结果。

全文数据：一种改进型RoIAlign区域特征聚集算法技术领域本发明属于基于区域特征聚集方式算法领域，尤其涉及一种改进型RoIAlign区域特征聚集算法。背景技术ROIAlign是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式,很好地解决了ROIPooling操作中两次量化造成的区域不匹配mis-alignment的问题。实验显示，在检测测任务中将ROIPooling替换为ROIAlign可以提升检测模型的准确性。但是现有技术中，当对整个目标图像向源图像映射时，所利用的像素集中在图像的左上方，右下部分的像素未被利用，而且随着插值比例的增大，不均匀现象更加明显，且由于采用浮点运算，计算耗时长，对设备要求高，因此，亟需一种新型技术对RoIAlign区域特征聚集算法进行优化。发明内容本发明的目的在于提出一种改进型RoIAlign区域特征聚集算法，尽可能减少插值计算量，实现了海洋背景下图像舰船目标的快速分割。本发明的步骤如下：S1采用中心点对齐方法将源图像和目标图像几何中心对齐，假设源图像尺寸m×n目标图像大小为a×b则两幅图像的宽度与高度比例分别为ma和nb，则目标图像中某像素点dstX，dstY可以通过插值比例映射回源图像中相应像素位置srcX，srcY，改进源图像与目标图像的对齐方式，将左上角对齐改进为中心点对齐，此时计算公式为下式：可将公式进一步变形为：公式的后半部分可视为整个插值运算的控制因子，其取值可正可负，此时源图像与目标图像的坐标中心为坐标系原点，将源图像与目标图像的中心点坐标达到重合，由于该控制因子的存在，使得映射过程充分并且均匀的利用了源图的所有像素。S2进行双线性插值计算，为提高计算效率和计算精度，将浮点运算转换成整数运算，计算方法为首先对目标图像坐标点取整，对小数部分按照倍率放大后取整，再对其进行向右的移位运算，达到除以放大倍率的目的，从而得到最终插值结果。优选的，在S2步骤中，对目标图像坐标点取整，对小数部分按照倍率放大后取整的方法如下：为求得目标图像某像素点x,y处的像素值fx，y，假设该点坐标为浮点数26.15,25.66，首先对目标图像坐标点取整，对小数部分按照倍率放大后取整，如下式：其中，New_x与New_y为目标点浮点坐标值的整数部分，Δx与Δy是浮点数小数部分倍率放大后的结果取整值，inv_x与inv_y表示1-x和1-y，以上数据均利用floor函数进行向下取整。将这些参数代入下式：式中参数均为整数，且已知源图像在0,0、0.1、1,0以及1,1处的像素值f0，0、f0，1,f0，1、f1，0以及f1，1均为整数，得到整数Integer，再对其进行向右的移位运算，移动22位，达到除以放大倍率4194304的目的，得到最终插值结果。本发明的有益效果在于：本发明优化了RoIAlign区域特征聚集方法，将源图像与目标图像的中心点坐标进行重合，使得映射过程充分并且均匀的利用了源图的所有像素，避免了特征图池化时造成的区域信息丢失，使得目标图像插值效果更好，通过将浮点运算转换成整数运算，极大的减小了计算量，且由于移位运算计算效率远高于普通乘除运算，从而提高了计算效率，降低了硬件需求。附图说明图1为本发明的步骤流程图；图2为现有技术目标图像与源图像像素之间的映射关系图；图3为本发明中源图像与目标图像之间的映射关系图；图4为双线性插值计算的优化加速方案图。具体实施方式下面结合附图和具体的实施例对本发明做进一步详细说明，所述是对本发明的解释而不是限定。本发明公开了一种改进型RoIAlign区域特征聚集算法，方法如下：在RoIAlign做双线性插值的时候，首先将源图像和目标图像几何中心对齐，具体实现过程如下：在对特征图中兴趣区域执行RoIAlign步骤时，为加快双线性插值算法的处理速度，应尽可能减少插值计算量，可通过中心对齐方式减少需插值像素数量。在原双线性插值算法中，假设源图像尺寸m×n目标图像大小为a×b则两幅图像的宽度与高度比例分别为ma和nb，则目标图像中某像素点dstX，dstY可以通过插值比例映射回源图像中相应像素位置srcX，srcY计算公式为：假设源图像尺寸是7×7，目标图像尺寸为3×3，选取左上角为坐标原点，则源图像与目标图像各自的中心点坐标分别为3，3和1，1，在进行插值映射的时候，应尽可能均匀的用到源图像的像素信息。例如目标图像中右下角像素点2，2，采用原插值算法计算对应源图像坐标为srcX＝2·73＝4.67选取四个距离最近的像素点4，4、4，5、5，4以及5，5进行双线性插值运算，此时源图像中像素7，7未被利用，当对整个目标图像向源图像映射时，所利用的像素集中在图像的左上方，右下部分的像素未被利用，而且随着插值比例的增大，不均匀现象更加明显，目标图像与源图像像素之间的映射如图2，源图像中不带色彩的像素块即为未被利用像素的非均匀分布。改进源图像与目标图像的对齐方式，将左上角对齐改进为中心点对齐，此时计算公式为下式：可将公式进一步变形为：公式的后半部分可视为整个插值运算的控制因子，其取值可正可负，此时源图像与目标图像的坐标中心为坐标系原点，将源图像与目标图像的中心点坐标达到重合，正是由于该控制因子的存在，使得映射过程充分并且均匀的利用了源图的所有像素，映射关系如图3。此时，插值映射较均匀的利用了源图像的像素，避免了特征图池化时造成的区域信息丢失，使得目标图像插值效果更好。然后将浮点运算转换成整数运算，具体实现过程如下：双线性插值过程由于不同目标图像尺寸的选取，会造成大量浮点运算，MaskR-CNN网络中存在众多特征图区域需进行RoIAlign操作，需要大量的双线性插值运算，浮点运算时双线性插值过程较为耗时的原因之一。考虑到整数运算计算量远小于浮点运算，且移位运算计算效率远高于普通乘除运算，基于此提出RoIAlign优化加速方案，步骤如图4。双线性插值计算得到目标图像某点x,y处的像素值fx，y通常是浮点数，先对该浮点数进行取整，将小数部分进行倍率放大后取整。关键步骤在于倍率的选择，需要综合考量三各因素。首先要保证一定的精度，若倍率取值较小，像素值得小数未得到有效的放大，最终的取整会舍弃较多数值，可能会导致插值结果误差较大；其次倍率数值不宜过大，倍率过大有可能导致计算过程数值的溢出，即超出数据类型所能表达的最大值；最后为了采用移位运算进行加速，需使倍率是2的整数次幂，如放大倍率是16，则最后环节需除以16×16＝256，而256可用位的右移来快速实现。综合考虑各方因素，选择放大倍率为2048。为求得目标图像某像素点x,y处的像素值fx，y，假设该点坐标为浮点数26.15,25.66，首先对目标图像坐标点取整，对小数部分按照倍率放大后取整，如下式：其中，New_x与New_y为目标点浮点坐标值的整数部分，Δx与Δy是浮点数小数部分倍率放大后的结果取整值，inv_x与inv_y表示1-x和1-y，以上数据均利用floor函数进行向下取整。将这些参数代入下式：式中参数均为整数，且已知源图像在0,0、0.1、1,0以及1,1处的像素值f0，0、f0，1,f0，1、f1，0以及f1，1均为整数，得到整数Integer，再对其进行向右的移位运算，移动22位，达到除以放大倍率4194304的目的，得到最终插值结果。移位运算相比于乘除运算具有更高的效率，移位运算指令占用2个机器周期，而乘除运算指令需要4个机器周期，计算效率增加的同时对硬件的要求降低。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

权利要求：1.一种改进型RoIAlign区域特征聚集算法，其特征在于，步骤如下：S1采用中心点对齐方法将源图像和目标图像几何中心对齐，假设源图像尺寸m×n目标图像大小为a×b则两幅图像的宽度与高度比例分别为ma和nb，则目标图像中某像素点dstX，dstY可以通过插值比例映射回源图像中相应像素位置srcX，srcY改进源图像与目标图像的对齐方式，将左上角对齐改进为中心点对齐，此时计算公式为下式：可将公式进一步变形为：公式的后半部分可视为整个插值运算的控制因子，其取值可正可负，此时源图像与目标图像的坐标中心为坐标系原点，将源图像与目标图像的中心点坐标达到重合，由于该控制因子的存在，使得映射过程充分并且均匀的利用了源图的所有像素。S2进行双线性插值计算，为提高计算效率和计算精度，将浮点运算转换成整数运算，计算方法为首先对目标图像坐标点取整，对小数部分按照倍率放大后取整，再对其进行向右的移位运算，达到除以放大倍率的目的，从而得到最终插值结果。2.根据权利要求1所述的一种改进型RoIAlign区域特征聚集算法，其特征在于，在S2步骤中，对目标图像坐标点取整，对小数部分按照倍率放大后取整的方法如下：为求得目标图像某像素点x,y处的像素值fx，y，假设该点坐标为浮点数26.15,25.66，首先对目标图像坐标点取整，对小数部分按照倍率放大后取整，如下式：其中，New_x与New_y为目标点浮点坐标值的整数部分，Δx与Δy是浮点数小数部分倍率放大后的结果取整值，inv_x与inv_y表示1-x和1-y，以上数据均利用floor函数进行向下取整。将这些参数代入下式：式中参数均为整数，且已知源图像在0,0、0.1、1,0以及1,1处的像素值f0，0、f0，1,f0，1、f1，0以及f1，1均为整数，得到整数Integer，再对其进行向右的移位运算，移动22位，达到除以放大倍率4194304的目的，得到最终插值结果。

百度查询： 黑龙江科技大学 一种改进型RoIAlign区域特征聚集方法