买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：兰州理工大学

摘要：基于混合现实的装配式梁柱构件检测系统及施工控制方法,检测系统由Hololens2设备、图像采集系统、点位标记系统、计算机PC、图像处理系统和虚实叠加系统组成。施工控制方法首先通过图像采集系统和点位标记系统对所需梁柱构件拍摄以获取图像。再利用图像处理系统实时检测梁柱构件并将数据信息存储至数据库，同时与装配式建筑施工BIM模型进行信息比对以判别构件类型。最后，虚实叠加系统实时发送比对结果到HoloLens2设备，并叠加虚拟模型到现实场景中，实现信息空间映射，达到施工指导的目的。该检测系统及施工控制方法具有实时、非接触优点，可实现装配式梁柱构件高效准确的识别和检测。

主权项：1.基于混合现实的装配式梁柱构件检测系统，其特征在于：该系统包括混合现实Hololens2设备1、图像采集系统2、点位标记系统3、计算机PC4、图像处理系统5、虚实叠加系统6；图像采集系统2由RGB相机2-1、传感器单元2-2、内存储单元2-3和数据传输模块2-4组成，各模块集中搭载于混合现实Hololens2设备1；点位标记系统3由无标记模块3-1和二维码标记模块3-2组成；图像处理系统5由特征识别模块5-1、坐标转换模块5-2、图像重建模块5-3、数据存储模块5-4和数据比对模块5-5组成；虚实叠加系统6由用户界面UI6-1、装配引导动画6-2和空间坐标锚定6-3组成；所述的图像采集系统2通过融合比例放缩因子的HoloLens2设备1，搭载高质量RGB相机2-1和传感器单元2-2进行图像的采集工作，拍摄施工环境中所需的照片或视频；其中，比例放缩因子用于增大采集图像范围，避免采集信息无法使用；内置的深度传感器和IMU传感器用于采集像素点深度值和姿态角；在拍摄完成后，将照片或视频保存到HoloLens2设备1的内部存储空间2-3中，生成相应的数据文件；利用数据传输模块2-4TCPIP网络传输协议实时通信，传输采集的数据到计算机PC4；数据采集时，从多个角度、不同方向、复杂背景、环境光照条件人工选择测点，增加数据集数量；采集过程启用HoloLens2设备1的研究者模式，用于访问各传感器数据；所述的图像处理系统5包括特征识别模块5-1、坐标转换模块5-2、图像重建模块5-3、数据存储模块5-4和数据比对模块5-5；特征识别模块5-1内含识别算法，实时处理图像信息，检测和识别图像特征点或标记点，并提取构件点位信息；对于特征点标记采用深度学习FasterR-CNNFasterRegion-basedConvolutionalNeuralNetwork检测算法，算法用以提取重要的特征信息；针对二维码标记点，算法配合使用ZXing库，提取图像中二维码的数据内容；坐标转换模块5-2读取HoloLens2设备1传输过来的数据流，在计算机PC4上将原始坐标信息转换为世界坐标信息；通过计算HoloLens2设备1装配的传感器单元2-2的数据，将原始坐标映射到世界坐标系统中；利用图像重建模块5-3导入装配式建筑施工图纸至Revit软件，根据实际要求调整和优化图纸，构建可视化BIM模型；添加装配式建筑的构件模板和施工流程相关信息到BIM模型中；再将上述信息上传到数据存储模块5-4，将相关数据导入并进行适当的数据结构和表格设计，并调用数据比对模块5-5进行数据库构件信息比对，以判别构件类型；虚实叠加系统6使用C#编程语言和Unity制作装配式结构构件信息面板，并制作施工装配引导动画；基于混合现实工具包MRTK和OpenXR，创建交互式的用户界面UI6-1，添加操作按钮，并设计施工装配引导动画6-2；实时调取云端数据存储模块5-4，将Unity制作的MR模型打包发送到VisualStudio，再部署到混合现实HoloLens2设备1的应用程序上；同时，使用反向坐标变换算法处理世界坐标信息，转换为HoloLens2设备1空间坐标系信息；然后传输到HoloLens2设备1，完成设备上虚拟的构件信息的显示；通过空间坐标锚定6-3将MR模型近似等比例叠加到实际梁柱构件的装配位置，实现空间映射，虚实叠加，并利用引导动画指导工程装配施工；用户界面UI6-1利用Unity和C#编程语言制作，添加捕捉、上传、校准操作按钮；根据图像采集和施工要求选择对应的按钮进行操作；装配引导动画6-2，包括构件组装顺序、连接方式、固定方法、安全注意事项和质量要求；将建筑信息可视化呈现，减少人工干预和提供实时施工指导，降低施工现场的安全风险；空间坐标锚定6-3使用坐标反向变换处理世界坐标信息，转换为HoloLens2设备1空间坐标系信息。

全文数据：

权利要求：

百度查询： 兰州理工大学 基于混合现实的装配式梁柱构件检测系统及施工控制方法