买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：本发明公开了基于深度相机与YOLOv8模型的实时人体姿态三维重建方法，包括以下步骤：S1:使用深度相机实时获取数据流。S2:使用深度学习的方法检测人体姿态并提取关键位置点信息。S3:预处理关键位置点检测张量数据及参考墙面和地板的建模。S4；生成点云并根据点云的信息进行人体姿态的三维重建与渲染。本发明通过结合深度相机和先进的YOLOv8算法模型，展示了在实时人体姿态三维重建技术方面的显著成就。该方法能够高效地采集并处理图像信息，精确执行人体姿态检测和关键位置点提取，确保了实时性和高精度重建的同时，还特别强调了生成墙面和地面策略的创新，极大地增强模型在复杂环境下的适应性和稳定性。

主权项：1.基于深度相机与YOLOv8模型的实时人体姿态三维重建方法，其特征在于，包括以下步骤：S1:使用深度相机实时获取数据流；采用深度相机实施深度成像，实时连续采集场景的动态变化数据，该动态变化数据用于支持后续的人体姿态估计和骨骼追踪；所获取图像的数据流包含二维像素信息，还嵌入每个像素点的深度数据，即从深度相机视角到场景中各个物体表面的距离测量值；该深度数据由深度相机内的传感器阵列按照特定的空间分辨率记录，确保所捕捉图像具备了物体位置的三维信息，为下一步骤的人体姿态估计提供原始数据输入；S2:使用深度学习的方法检测人体姿态并提取关键位置点信息；使用S1步骤的原始数据输入作为图像数据，采用YOLOv8深度学习框架执行实时人体检测和关键位置点定位任务；YOLOv8模型接收S1过程输出的连续的图像流作为输入，其内部通过一系列卷积神经网络层进行高效的特征提取和分析；S3:预处理关键位置点检测张量数据及参考墙面和地板的建模；所述S3步骤包含以下子步骤：S31：数据预处理部分，接收S2过程的人体姿态关键位置点检测张量，排查并处理张量数据中的异常输入，并对张量的维度进行标准化处理；首先定义人体姿态关键位置点的标准化函数Na为： 其中，a代表张量中的任意元素；对于任意人体姿态关键位置点检测张量得到标准化的人体姿态关键位置点检测张量的公式为： 其中，xp,yp表示人体姿态关键位置点的像素信息，dp表示人体姿态关键位置点的深度信息；S32：几何参考墙面和地板的建模部分：利用经过S31步骤后，经过标准化处理的数据中检测到的左脚和右脚的关键位置点张量信息，接着选取这两个人体姿态关键位置点及若干个随机生成的近邻点，最后利用双目标拟合的算法预测地面平面方程的三个参数，并根据参数写出墙面平面方程，用这两个平面方程作为参照进行后续步骤；设待求地面方程Z为：Z＝ax+by+c3x和y是地面平面上点的横坐标和纵坐标；a、b这两个参数是平面方程中的系数，它们决定平面在三维空间中的倾斜角度；a影响平面沿x轴的倾斜程度，b影响平面沿y轴的倾斜程度；c是平面方程中的常数项，表示平面相对于原点的位置偏移；并根据地面方程写出墙壁方程Z'：Z'＝bx-ay+c4x和y是墙面平面上点的横坐标和纵坐标；a、b、c是平面方程的系数和常数项，定义墙面的方向和位置；平面方程参数的计算公式为：minX||AX-D||25X＝argmaxX'|IX'|6其中，A是包含n+2个三维点坐标的n+2×3的密集矩阵，n+2个三维点包括人体姿态关键位置点中的左脚与右脚的关键位置点信息，以及随机生成的n个在左右脚三维关键位置点附近的坐标点；X是一个维度为3×1的列向量，其中，包含三个未知数a、b、c；D是n+2个三维点的深度值；|IX'|表示用X'得到的内点集合的大小；S4；生成点云并根据点云的信息进行人体姿态的三维重建与渲染；所述S4中包含以下子步骤：S41；根据经过S31步骤得到的标准化处理的关键位置点检测张量与经过S32步骤得到的参照平面的坐标信息生成3D点云，构建人体关键位置点构成的点云数据集；S42：首先将点云数据集中的每个关键位置点作为顶点；顶点的几何信息被定义为一系列的三维坐标，代表17个关键位置点；通过应用先进的三维图形处理技术，采用三角面片铺贴策略，每三个顶点按照特定拓扑结构连接形成一个三角形。

全文数据：

权利要求：

百度查询： 北京工业大学 基于深度相机与YOLOv8模型的实时人体姿态三维重建方法