买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中山大学·深圳;中山大学

摘要：本发明公开了一种具有多模态细粒度身份保留的肖像生成系统及方法，涉及图像生成的技术领域。所述系统包括：面部图像数据获取模块、多模态面部提示生成模块及身份保留网络模块；所述面部图像数据获取模块用于获取面部图像数据形成面部图像数据集；所述多模态面部提示生成模块根据获取的面部图像数据集，提取面部图像数据中的局部细粒度多模态面部特征与全局面部特征；所述身份保留网络模块将提取的局部细粒度多模态面部特征与全局面部特征进行特征对齐，生成一份与获取的面部图像数据身份一致的肖像图像。通过本发明所提的系统及方法，能够确保每个面部区域的ID一致性，显着的提高了肖像生成的身份一致性和面部真实感。

主权项：1.一种具有多模态细粒度身份保留的肖像生成系统，其特征在于，所述系统包括：面部图像数据获取模块、多模态面部提示生成模块及身份保留网络模块；所述面部图像数据获取模块用于获取面部图像数据形成面部图像数据集；所述多模态面部提示生成模块根据获取的面部图像数据集，提取面部图像数据中的局部细粒度多模态面部特征与全局面部特征；所述身份保留网络模块将提取的局部细粒度多模态面部特征与全局面部特征进行特征对齐，生成一份与获取的面部图像数据身份一致的肖像图像；其中，所述面部图像数据包含面部图像及其对应的文本描述；所述多模态面部提示生成模块包括细粒度多模态特征提取子模块与全局面部身份特征提取子模块；所述细粒度多模态特征提取子模块用于提取面部图像数据中的局部细粒度多模态面部特征，所述全局面部身份特征提取子模块用于提取面部图像数据中的全局面部特征；所述细粒度多模态特征提取子模块包括文本特征编码器、图像特征编码器以及面部特征编码器；所述文本特征编码器用于根据面部图像对应的文本描述，生成对应的细粒度多模态的文本嵌入；所述图像特征编码器用于根据面部图像生成对应的细粒度多模态的面部嵌入；所述面部特征编码器用于根据文本嵌入与面部嵌入，生成局部细粒度多模态面部特征；所述全局面部身份特征提取子模块包括图像特征编码器、人脸特征提取器及投影层；所述图像特征编码器与人脸特征提取器用于提取面部图像的视觉特征，并将该视觉特征传输至投影层；所述投影层用于根据所述视觉特征，生成面部图像的全局面部特征。

全文数据：

权利要求：

百度查询： 中山大学·深圳 中山大学 一种具有多模态细粒度身份保留的肖像生成系统及方法