买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州水母智能科技有限公司

摘要：本发明公开了一种人物角色多姿势生成的新方法，属于计算机图像识别技术领域。人物角色多姿势生成方法包括获取包含特定人物的视频数据；对视频数据中每幅单帧图像的人物进行网格重构，得到人体的mesh网格；获取单帧图像所对应的摄像头参数，并根据摄像头参数对人体的mesh网格进行投影，得到depth图像；利用depth图像和单帧图像训练UNet网络，得到人物重建模型；根据期望姿势参数得到期望depth图像，并利用人物重建模型对期望depth图像进行处理，得到人物期望姿势图像。本发明构建的人物重建模型在输入depth图像后，可输出与depth图像匹配的分身图像，该分身图像与原始单帧图像中人物的衣着服饰保持一致，简化了漫画创作的复杂环节，提高了创作效率和作品质量。

主权项：1.一种人物角色多姿势生成的新方法，其特征在于，包括以下步骤：步骤1：获取包含特定人物的视频数据；步骤2：对视频数据中每幅单帧图像的人物进行网格重构，得到人体的mesh网格；其中，所述步骤2：对视频数据中每幅单帧图像的人物进行网格重构，得到人体的mesh网格，包括以下步骤：步骤21：基于VisionTransformer模型对单帧图像编码，得到分割图像的编码特征；步骤22：利用多层感知机获取分割图像的置信度信息，并根据得分阈值对分割图像进行过滤，得到置信图像；步骤23：对置信图像的特征进行融合，并利用融合后的特征得到人体参数；其中，所述步骤23：对置信图像的特征进行融合，并利用融合后的特征得到人体参数，包括以下步骤：步骤231：将置信图像的编码特征和位置编码结合为融合特征；步骤232：将融合特征与SMPL-X模型中定义的人体均值参数进行拼接，得到扩充特征；步骤233：将扩充特征作为查询，将编码特征作为键和值，利用block块处理更新查询值；步骤234：将更新后的查询值再次输入多层感知机，利用多层感知机得到人体参数；其中，人体参数包括形状参数、姿态参数和深度参数；步骤24：将人体参数输入SMPL-X模型，得到人体的mesh网格；其中，置信度信息包括置信度得分和人体头部关键点坐标相对于分割图像中心点坐标的偏移值，置信度得分大于等于得分阈值的分割图像为置信图像；其中，所述得到人体的mesh网格的过程中，模型的训练利用损失函数一优化，所述损失函数一表示为：，其中， 为检测损失，，用于度量步骤22中多层感知机从分割图像内检测人体时的损失，s为置信度得分，为训练数据中的标注真值，i、j为分割图像的行和列索引； 为回归损失，，用于度量人体关键点回归、人体参数回归时的损失，n为样本量，c为步骤22预测的offset值，x和d表示步骤234中回归出的人体参数，分别对应c，x，d训练数据中的标注真值； 为网格损失，，用于度量步骤24中回归出的人体的mesh网格和单帧图像中人体的mesh网格的损失，n为样本量，M为模型预测的mesh，为训练数据中的标注真值； 为投影损失，，πK为摄像头投影算子矩阵，tn=（tx，ty，tz），tn为根据步骤22中预测的偏移值得到的人体头部关键点的x、y、z轴的坐标值，为训练数据中的标注真值；λ1为超参数，用于在几个损失之间进行平衡；步骤3：获取单帧图像所对应的摄像头参数，并根据摄像头参数对人体的mesh网格进行投影，得到depth图像；步骤4：利用depth图像和单帧图像训练UNet网络，得到人物重建模型；步骤5：根据期望姿势参数得到期望depth图像，并利用人物重建模型对期望depth图像进行处理，得到人物期望姿势图像。

全文数据：

权利要求：

百度查询： 杭州水母智能科技有限公司 一种人物角色多姿势生成的新方法