申请/专利权人：中国农业银行股份有限公司

申请日：2020-12-26

公开（公告）日：2024-07-05

公开（公告）号：CN112597913B

主分类号：G06V20/70

分类号：G06V20/70;G06V20/40;G06V40/16;G06V10/774

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2021.04.23#实质审查的生效;2021.04.02#公开

摘要：本申请实施例公开了一种人脸标注方法及装置，方法包括：获取目标视频，目标视频包括第一目标图像和第二目标图像，第一目标图像为目标对象的人脸未受遮挡的图像，第二目标图像为目标对象的人脸受到遮挡的图像；将第一目标图像和第二目标图像输入增量更新模型，得到第三目标图像，增量更新模型用于根据第一目标图像将第二目标图像恢复为第三目标图像，第三目标图像为目标对象的人脸未受遮挡的图像；在第三目标图像中标注人脸区域。由此可见，本申请实施例通过利用增量更新模型将受到遮挡的人脸恢复为未受遮挡的人脸，即使人脸受到遮挡物的遮挡，也不影响之后对于视频中人脸的标注进程，进而根据视频中人脸的标注进程实现视频中人脸的跟踪。

主权项：1.一种人脸标注方法，其特征在于，所述方法包括：获取目标视频，所述目标视频包括第一目标图像和第二目标图像，所述第一目标图像为目标对象的人脸未受遮挡的图像，所述第二目标图像为所述目标对象的人脸受到遮挡的图像；将所述第一目标图像和所述第二目标图像输入增量更新模型，得到第三目标图像，所述增量更新模型用于根据所述第一目标图像将所述第二目标图像恢复为所述第三目标图像，所述第三目标图像为所述目标对象的人脸未受遮挡的图像，所述增量更新模型根据训练视频训练得到，所述训练视频包括第一训练图像和第二训练图像，所述第一训练图像为所述目标对象的人脸未受遮挡的图像，所述第二训练图像为所述目标对象的人脸受到遮挡的图像；在所述第三目标图像中标注人脸区域；在将所述第一目标图像和所述第二目标图像输入增量更新模型之前，所述方法还包括：对所述第一目标图像进行稀疏编码处理，得到第一目标图像矩阵，对所述第二目标图像进行稀疏编码处理，得到第二目标图像矩阵，所述稀疏编码处理是将所述第一目标图像分为多个局部图像进行编码，将所述第二目标图像分为多个局部图像进行编码；所述对所述第一目标图像进行稀疏编码处理，得到第一目标图像矩阵，对所述第二目标图像进行稀疏编码处理，得到第二目标图像矩阵，所述稀疏编码处理是将所述第一目标图像分为多个局部图像进行编码，将所述第二目标图像分为多个局部图像进行编码包括：将每一帧的图像按照一定的空间分布进行分块，在每一帧的图像中进行重叠的采样，得到多个局部图像块；将每一帧的局部图像块按照一定的规则进行组合拼接；将多个局部图像块用公式Y＝[y1…，yD]表示，得到每一帧的图像矩阵；对所述第一目标图像矩阵进行向量化处理，得到第一目标图像向量矩阵，对所述第二目标图像矩阵进行向量化处理，得到第二目标图像向量矩阵；所述对所述第一目标图像矩阵进行向量化处理，得到第一目标图像向量矩阵，对所述第二目标图像矩阵进行向量化处理，得到第二目标图像向量矩阵包括：将每一帧的图像矩阵进行向量化操作，将划分成段后的系数向量，进行平均化操作，获得多个局部图像块的编码表示，得到每一帧的图像向量矩阵V；对所述第一目标图像向量矩阵进行方差池化处理，得到第一目标图像的人脸图像向量，对所述第二目标图像向量矩阵进行方差池化处理，得到第二目标图像的人脸图像向量；所述对所述第一目标图像向量矩阵进行方差池化处理，得到第一目标图像的人脸图像向量，对所述第二目标图像向量矩阵进行方差池化处理，得到第二目标图像的人脸图像向量包括：将每一帧的图像向量矩阵V的协方差矩阵的对角元素作为池化后的特征，得到人脸图像向量p＝Uq+e＝[UI][qe]T，U是特征基向量的矩阵，与每一帧的图像的前预设数目个帧图像向量相关联，U为L个帧图像的特征基向量，L个帧图像全部为人脸未受遮挡的图像，q是特征向量的系数组成的矩阵，e是一个琐碎系数向量，e表示了人脸图像向量p是否被污染或者被遮挡；I是琐碎模板，人脸图像遭遇的局部遮挡由琐碎模板I表示；若人脸没有被遮挡，则无琐碎系数向量，人脸图像向量为：p＝Uq；所述将所述第一目标图像和所述第二目标图像输入增量更新模型包括：将所述第一目标图像的人脸图像向量和所述第二目标图像的人脸图像向量输入增量更新模型；所述将所述第一目标图像和所述第二目标图像输入增量更新模型，得到第三目标图像包括：所述增量更新模型根据所述第一目标图像的人脸图像向量将所述第二目标图像向量恢复为第三图像的人脸图像向量；所述增量更新模型根据所述第一目标图像的人脸图像向量将所述第二目标图像向量恢复为第三图像的人脸图像向量包括：将人脸受到遮挡的人脸图像向量恢复为人脸未受遮挡的人脸图像向量，就是求解q和e的过程；若视频中某一帧的图像人脸有遮挡，通过求解l2正则最小二乘问题来解决：其中H＝[UI]，s＝[qe]T为正则化参数；求解公式得到q和e，得到恢复为人脸未受遮挡的人脸图像向量：

全文数据：

权利要求：

百度查询： 中国农业银行股份有限公司 一种人脸标注方法及装置

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD