首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于RGB图像和2D人体姿态令牌的3D人体重建方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中国科学技术大学苏州高等研究院

摘要:本发明公开了一种基于RGB图像和2D人体姿态令牌的3D人体重建方法及系统。该方法包括:获取含有目标人体的RGB图像,从RGB图像中提取出图像特征、姿态令牌序列,将图像特征转换成图像令牌序列,将图像令牌序列、姿态令牌序列和相机令牌组成一组长序列后进行信息交互,分别将交互后的图像令牌序列和姿态令牌序列、关节令牌序列和顶点令牌序列送入视觉转换器的解码器,完成特征提取的关节令牌序列和顶点令牌序列被线性层解码成三维坐标,生成人体三维模型的初步重建结果;将人体三维模型初步重建结果生成人体三维模型的最终重建结果。本发明能够帮助人体三维重建模型实现野外环境下重建精度的进一步提升,并帮助在其困难情况如遮挡场景下增强鲁棒性。

主权项:1.一种基于RGB图像和二维人体姿态令牌的鲁棒三维人体重建方法,其特征在于,包括:获取含有目标人体的RGB图像;通过神经网络模型从所述RGB图像中提取出图像特征,将所述图像特征转换成图像令牌序列;通过姿态令牌生成器从所述RGB图像中提取出对应的二维人体姿态的姿态令牌序列;将所述图像令牌序列、所述姿态令牌序列和相机令牌组成一组长序列后送入视觉变换器的编码器进行信息交互,将交互后的图像令牌序列和姿态令牌序列送入视觉转换器的解码器;将关节令牌序列和顶点令牌序列送入视觉变换器的解码器,完成对编码器提供的令牌序列的特征提取,完成特征提取的关节令牌序列和顶点令牌序列被线性层解码成三维坐标,生成人体三维模型的初步重建结果;将所述人体三维模型初步重建结果输入至预先定义的网格上采样器,生成人体三维模型的最终重建结果。

全文数据:

权利要求:

百度查询: 中国科学技术大学苏州高等研究院 基于RGB图像和2D人体姿态令牌的3D人体重建方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。