申请/专利权人：清华大学

申请日：2021-11-29

公开（公告）日：2024-07-05

公开（公告）号：CN114332351B

主分类号：G06T17/00

分类号：G06T17/00;G06V40/10;G06V40/20;G06T7/80;G06V10/25

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2022.04.29#实质审查的生效;2022.04.12#公开

摘要：本申请涉及计算机视觉技术领域，尤其涉及一种基于多视角相机的小鼠运动重建方法及装置。其中，一种基于多视角相机的小鼠运动重建方法，包括：获取小鼠的彩色图像以及世界坐标系下的小鼠点云；基于卷积神经网络，检测彩色图像中小鼠的关键点；利用基于LM算法的重建算法，对小鼠的运动进行三维重建。采用上述方案的本申请通过自动化采集小鼠的运动数据，将搜集数据的过程数字化，结合小鼠的点云数据和关键点检测数据，对小鼠的运动进行重建，从而帮助生物研究人员更好的捕捉小鼠的运动信息，也方便了研究者下游的小鼠运动分析任务。

主权项：1.一种基于多视角相机的小鼠运动重建方法，其特征在于，所述方法包括：获取小鼠的彩色图像以及世界坐标系下的小鼠点云；基于卷积神经网络，检测彩色图像中小鼠的关键点；利用基于LM算法的重建算法，对小鼠的运动进行三维重建；其中，所述获取小鼠的彩色图像以及世界坐标系下的小鼠点云，包括：对三台深度相机以及一台工业相机进行配准；利用三台深度相机分别从透明饲养盒的正面、侧面以及背面拍摄小鼠的三个视角的彩色图像，利用一台工业相机从透明饲养盒的底部拍摄小鼠的底部视角彩色图像；根据小鼠的三个视角的彩色图像和底部视角彩色图像确定每个视角对应的点云信息；对所有视角对应的点云信息进行标定和综合，确定世界坐标系下的小鼠点云；其中，所述利用基于LM算法的重建算法，对小鼠的运动进行三维重建，包括：确定基于线性蒙皮算法的小鼠模型；基于LM算法，对所述基于线性蒙皮算法的小鼠模型进行优化；基于优化后的线性蒙皮算法的小鼠模型，根据小鼠的皮肤顶点和关键点确定对应的骨骼旋转参数；基于骨骼旋转参数将小鼠的运动还原为骨骼的旋转运动；其中，所述基于LM算法，对所述基于线性蒙皮算法的小鼠模型进行优化，包括：根据下式确定优化损失能量： 其中，为总优化损失能量，为小鼠的关键点投影到像素平面与关键点标签的平方损失，为小鼠的皮肤顶点与小鼠点云中对应点的欧氏距离损失，为正则项； 包含骨骼旋转参数和T-pose之间的平方损失，以及骨骼旋转参数与前一帧骨骼旋转参数之间的平方损失。

全文数据：

权利要求：

百度查询： 清华大学 一种基于多视角相机的小鼠运动重建方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD