买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州蓝芯科技有限公司

摘要：本发明涉及一种基于RGB‑D相机的楼梯类危险区域识别方法以及系统，该方法应用于移动机器人，方法包括：通过RGB‑D相机获取RGB图和深度图；将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图；依据RGB‑D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图；通过经对齐的RGB图、深度图以及基于内外参数转化得到三维空间信息构建彩色点云模型；遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息。本发明提高了移动机器人对楼梯类危险区域的感知能力。

主权项：1.一种基于RGB-D相机的楼梯类危险区域识别方法，其特征在于，该方法应用于移动机器人，方法包括：通过RGB-D相机获取移动机器人所在运行环境的RGB图和深度图；将RGB图中楼梯类危险区域进行标注后输入到预先建立的实例分割模型中进行掩膜处理，得到经掩膜处理的RGB图；依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图；通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型；遍历彩色点云模型的所有三维坐标点，并根据获取的符合设定条件的三维坐标点的数量和坐标求取得到楼梯类危险区域的位置信息；其中，依据获取到的RGB-D相机的内外参数，将经掩膜处理的RGB图与对应的深度图的像素点进行对齐，生成经对齐的RGB图包括：建立以深度相机为原点深度相机坐标系和以RGB相机为原点的RGB相机坐标系；获取RGB-D相机的内参矩阵、旋转矩阵以及平移向量；将滤波后的深度图的像素坐标通过深度相机内参矩阵和深度值进行转化，得到深度相机坐标系下的三维坐标点；根据RGB-D相机的旋转矩阵和平移向量，求取与深度相机坐标系下的三维坐标点匹配对应在RGB相机坐标系下的三维坐标点；将RGB相机坐标系下的三维坐标点通过RGB相机的内参矩阵进行投影，得到经掩膜处理的RGB图的像素坐标；遍历深度图中所有像素点与经掩膜处理的RGB图的像素点进行对齐工作，生成与深度图像素点一一对应的RGB图；通过经对齐的RGB图、深度图以及基于RGB-D相机的内外参数转化得到的三维空间信息构建彩色点云模型包括：建立以移动机器人运动中心为原点的世界坐标系；将世界坐标系下的三维坐标通过映射公式映射到深度相机坐标系下的坐标，得到点云模型；将经对齐的RGB图的RGB信息和掩膜颜色信息赋值到点云模型上，得到彩色点云模型。

全文数据：

权利要求：

百度查询： 杭州蓝芯科技有限公司 基于RGB-D相机的楼梯类危险区域识别方法以及系统