买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学

摘要：本发明公开了一种钢筋骨架绑扎质量自动检查装置，涉及钢筋骨架绑扎检测技术领域。包括移动机构和移动轮上方设置的检测机构，所述检测机构包括外部的支撑机构和内部的拍摄处理机构；所述拍摄处理机构包括设置于支撑机构内部的中央控制器和多个摄像机，摄像机与中央控制器信号连接，所述中央控制器内部设置有计算单元，所述计算单元运行基于图像的钢筋骨架绑扎质量检查程序。本发明克服了现有技术的不足，基于二维视觉检测设计，能够实现复杂钢筋骨架绑扎质量的自动检查，可满足施工现场的需求，且具有自动化程度高、可重复性好、精度高等特点。

主权项：1.一种钢筋骨架绑扎质量自动检查装置，包括移动机构2和移动轮201上方设置的检测机构1，其特征在于：所述移动机构2通过外部遥控机构3进行移动控制，所述检测机构1包括外部的支撑机构和内部的拍摄处理机构，所述移动机构2包括移动车和移动车外部设置的防撞壳203，所述防撞壳203侧边设置有用于拍摄的相机202，所述外部遥控机构3包括用于控制移动轮201转向的转向摇杆301；所述支撑机构包括呈阵列排布的四个支撑架11，且四个支撑架11两两相邻件采用多个横向支架固定，且两两相邻的支撑架11和四个支撑架11顶部均安装固定于有密封板12；所述拍摄处理机构包括设置于四个支撑架11内部的中央控制器101和多个摄像机102，所述摄像机102摄像头所对的密封板12上设置有透明拍摄窗14，且摄像机102与中央控制器101信号连接，所述中央控制器101内部设置有计算单元，所述计算单元运行基于图像的钢筋骨架绑扎质量检查程序，且计算单元与外部显示单元信号连接；所述装置的使用方法包括以下步骤：S1、对于绑设完成的钢筋骨架设置二维码；S2、启动移动机构2，并通过外部遥控机构3的转向摇杆301控制移动车带动检测机构1移动至钢筋骨架二维码位置；S3、通过相机202及时检测二维码位置，计算二维码中心在相机202坐标系下位姿，进而调整移动机构2的位姿，使移动机构2能够正面拍摄钢筋骨架图像；S4、位姿确定后移动机构2停止运动，摄像机102开始拍摄采集钢筋骨架图像；S5、摄像机102拍摄图像传输至中央控制器101，中央控制器101中计算单元运行基于图像的钢筋骨架绑扎质量检查程序，自动分析钢筋骨架图像，找出不符合绑扎要求的钢筋和垫块，具体为：S5-1：对钢筋骨架不同部分多张图像匹配融合，合成为一张大尺度图像，其中得到钢筋骨架整体图像包括:S5-1-1：尺度空间极值检测搜索所有尺度上的图像位置，通过高斯差分函数来识别潜在的对于尺度和旋转不变的特征点：采用原始图像Ix，y与一个可变尺度的2维高斯函数Gx，y，σ卷积运算定义尺度空间：Lx，y，σ＝Gx，y，σ*Ix，y其中，σ是尺度空间因子；调整σ值获取不同尺度的图像空间，构建高斯金字塔，在高斯金字塔中相邻两层相减构成高斯差分金字塔；在不同的尺度空间中搜索局部最大值；对于图像中的一个像素点而言，需要与同尺度的8邻域，以及尺度空间中上下两层中相邻的18个点相比；如果是局部最大值，就可能是一个特征点；S5-1-2：特征点定位获取感兴趣的特征点，当一个特征值远远大于另外一个特征值时检测到的是边界，将低对比度和边界的特征点去除，得到的就是用于钢筋骨架图像匹配的感兴趣特征点；S5-1-3：关键点方向确定实现旋转不变性，为每个关键点分配一个方向角度，即根据检测到的关键点所在高斯尺度图像的邻域结构中求得一个方向基准：采用以下函数计算邻域像素梯度的幅值和方向： 其中mx，y和θx，y分别是像素点x，y的赋值和方向；完成关键点梯度计算后，使用直方图统计关键点邻域内像素的梯度幅值和方向，直方图的峰值，即最高的柱代表的方向是特征点邻域范围内图像梯度的主方向；S5-1-4：特征点描述为每个特征点建立一个描述符，该描述符既具有可区分性，又具有对某些变量的不变性；将关键点周围图像区域分块，计算块内的梯度直方图，生成特征向量，对特征向量排序后得到特征描述；通过比对描述符可以匹配图像特征点，实现图像匹配；S5-2：基于目标图像识别网络模型对安装有垫块的钢筋骨架匹配图像进行图像识别，得到前景垫块局部区域图像块，其中，局部区域图像块中包括垫块上的3个关键点像素坐标，其中得到局部区域图像块包括：S5-2-1：获取多个钢筋骨架图像样本，并在钢筋骨架图像样本中分别标注对应的局部区域图像块，其中，局部区域图像块中包括对应的钢筋垫块；S5-2-2：建立目标图像识别网络模型，将多个钢筋骨架图像样本输入至初始目标图像识别网络模型，并以局部区域图像块作为样本标签，训练初始目标图像识别网络模型，得到目标图像识别网络模型，设置损失函数对训练结果进行反向控制，其中损失函数可表示为：Lreg＝λ·DFL+μ·LWIoU在损失函数中Lreg，DFLSi，Si+1＝-yi+1-ylogSi+y-yilogSi+1，DFL采用点到边界框四条边的距离作为回归的目标，yi和yi+1是最靠近标签y的两个点， 其中，n表示物体框的数量，bi指第i个物体框的坐标，gi指第i个物体的真实标注框的坐标，wi表示权重值，IoUbi，gi表示第i个物体框与真实标注框之间的IoU值；S5-2-3：将钢筋垫块图像输入至目标识别网络模型，得到前景垫块局部区域图像块；S5-3：基于位姿估计网络模型对局部区域图像块进行关键点识别，确定垫块上的3个关键点像素坐标，其中得到前景垫块图像上的3个关键点的具体方式为：S5-3-1：获取目标识别网络得到的多个前景垫块局部区域图像样本进行标注，得到标记3个关键点的多个前景垫块局部区域图像；S5-3-2：建立位姿估计网络模型，将多个局部区域垫块图像样本输入至位姿估计网络模型，以局部区域垫块图像作为样本标签，训练位姿估计网络模型，得到位姿估计网络模型；利用现有的CPN网络模型，通过对其中的运行参数进行适应性调整，得到符合要求的位姿估计网络模型，包括用GlobalNet确定易识别关键点，用RefineNet确定较难识别的关键点；GlobalNet精确计算易识别关键点的坐标，在GlobalNet网络模型训练时的损失函数为： 其中，n表示为热图上的三个关键点坐标生成的像素数，yi为热图上生成的真实像素值，是热图上预测的像素值；RefineNet精确计算较难识别关键点的坐标，在RefineNet网络模型训练时的损失函数为： 其中，m是根据硬关键点坐标在热图上生成的像素数坐标生成的像素数，yi为热图上生成的真实像素值，是热图上预测的像素值；位姿估计网络模型的总损失函数为：L＝L2+L2*；S5-3-3：将已识别的局部区域垫块图像输入至位姿估计网络模型，得到钢筋垫块上的3个关键点；S5-4：根据垫块上的三个关键点坐标和相机参数，建立计算钢筋间距和垫块间距的几何模型；得到钢筋间距和垫块间距包括：S5-4-1：根据钢筋垫块的关键点像素坐标，找到位于同一根钢筋上的相邻钢筋垫块，具体包括：S5-4-1-1：从未检查的钢筋垫块集Sraw中任意选取第i个钢筋垫块记为RSi，并将RSi从Sraw中删除；S5-4-1-2：查询所选RSi的上部两个关键点x1，y1和x2，y2的坐标，根据这两个点的坐标找出相应的直线y＝kix+bi，遍历x1，y1或Sraw中其他RSk上的x2，y2点，找出关键点到直线yi的距离，如果小于设定的阈值d，则将RSk添加到第i个共定位钢筋垫块集Si中；最后，根据Si中钢筋垫块的x1或x2坐标的大小对钢筋垫块进行排序，确定相邻的RS；S5-4-1-3：重复步骤S5-4-1-1、步骤S5-4-1-2两步，直到Sraw中的钢筋垫块个数为0；S5-4-2、根据相邻钢筋的直线解析式，用以下公式计算相邻钢筋间距： S5-4-3、根据几何成像理论，推导出相邻钢筋垫块的间距，包括：根据相机202参数和三个关键点在像素坐标系中的坐标，A'x1，y1，B'x2，y2和C'x3，y3可获得世界坐标系中的三个关键点到相机镜头中心O的向量坐标： X＝A′，B′，C′i＝1，2，3根据向量积公式，空间角α，β，γ表示为： 接下来，用数学方法推导出相邻钢筋垫块间距的表达式；钢筋垫块与相机202镜头在世界空间中的位置之间的关系中设置相机202镜头为点O，其中一个钢筋垫块最高点设为A，另一个钢筋垫块的最高点和最低点分别设为B和C，则在空间关系中等腰直角三角形OBC中，m的计算公式为公式： 其中r是钢筋垫块的截面圆半径，将余弦定理应用于三角形OAB、OAC和ABC，可得到如下钢筋垫块间距计算公式： S6、计算单元计算结束后将标记了计算结果的图像信号传输至外部的显示单元进行显示查看。

全文数据：

权利要求：

百度查询： 华中科技大学 一种钢筋骨架绑扎质量自动检查装置