申请/专利权人：广东宏乾科技股份有限公司

申请日：2021-08-30

公开（公告）日：2024-07-02

公开（公告）号：CN113705465B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/25;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.07.02#授权;2021.12.14#实质审查的生效;2021.11.26#公开

摘要：一种用餐智能检测评分方法和系统，包括步骤A：采集实时用餐视频数据流，获取用餐图像；步骤B：获取用餐图像中的人脸信息，将人脸信息在人脸比对库中进行对比，识别人脸身份；步骤C：获取用餐视频数据流中的餐盘信息，对餐盘信息进行识别，获取所识别的人脸身份的用餐情况，得出用餐评分等级，生成个人用餐情况信息；步骤D：根据用餐评分等级控制提示装置发出用餐提醒。本发明通过采集人脸和用餐餐盘图片信息，识别人脸身份；分析人员用餐情况，得出用餐评分等级；根据评分等级控制提醒装置发出提醒，解决人工提醒个人用餐情况的弊端，同时准确地、完全地将个人用餐情况与个人信息进行关联，以实现培养节约粮食的好习惯，杜绝饮食浪费的行为。

主权项：1.一种用餐智能检测评分方法，其特征在于：包括如下步骤：步骤A：采集实时用餐视频数据流，获取用餐图像；步骤B：获取用餐图像中的人脸信息，将人脸信息在人脸比对库中进行对比，识别人脸身份；步骤C：获取用餐视频数据流中的餐盘信息，对餐盘信息进行识别，获取所识别的人脸身份的用餐情况，得出用餐评分等级，生成个人用餐情况信息；步骤D：根据用餐评分等级控制提示装置发出用餐提醒；在所述步骤B中，识别人脸身份包括：步骤B1：判断用餐图像中是否存在人脸，如果存在人脸，则返回用餐图像中人脸所在位置；步骤B2：获取用餐图像中人脸所在位置的人脸关键点的位置；步骤B3：根据人脸关键点的位置，采用相似变换，将人脸关键点对齐到标准人脸关键点，通过截取得到对齐且尺度归一的人脸图像；步骤B4：对人脸图像进行特征提取，将人脸图像表示成具有高层语义信息的特征向量；步骤B5：将人脸特征与人脸比对库中的特征进行比较，得到检测结果；在所述步骤B1中，包括如下步骤：对原始用餐图像进行滑窗，对窗口中的图像提取特征；将提取的特征输入训练好的人脸判别分类器，判断该窗口区域中人脸的置信度，保留人脸置信度大于预设置信度的窗口；通过非极大值抑制对所保留的窗口进行融合，得到人脸检测结果；通过对滑窗窗口的大小进行缩放和或等效的对原始用餐图像构建图形金字塔，以检测不同尺度人脸；包括使用人脸非人脸二分类网络和人脸框校准网络对人脸检测进行训练和测试；人脸非人脸二分类网络包括：12-net、24-net和48-net；人脸框校准网络包括：12-calibration-net、24-calibration-net和48-calibration-net；训练步骤包括：将标注的每个人脸框进行45种变换，相同变换具有相同的标签，训练一个45分类的分类器，预测当前人脸框是45种人脸框中每一种的概率；测试步骤包括：输入原始用餐图像，通过12-net对整张原始用餐图像进行扫描，拒绝90%以上的非人脸窗口；剩余的窗口输入到12-calibration-net中，调整窗口的大小和位置；调整后的窗口，经过非极大值抑制，去掉重合度过高的人脸框，将剩余的人脸框输入到24-net，去掉非人脸的窗口；将24-net的输出窗口输入到24-calibration-net，调整窗口的大小和位置；依次再经过非极大值抑制、48-net和48-calibration-net，得到最终的人脸检测结果；在所述步骤B2中，包括如下步骤：训练关键点定位神经网络；将用餐图像中人脸所在位置的区域图像输入关键点定位神经网络，回归得到人脸106个关键点的位置；其中，训练关键点定位神经网络包括：定义一个卷积神经网络，输入人脸区域图像，将该人脸区域图像的关键点作为监督信息，将SmoothL1Loss函数作为损失函数，采用Caffe平台对该卷积神经网络进行训练；所述步骤B4还包括：建立特征向量提取模型；将归一化人脸图像输入特征向量提取模型中转换成特征向量；其中，建立特征向量提取模型包括：定义一个卷积神经网络，输入归一化后的人脸图像和人脸ID，将人脸ID作为监督信息，组合多种损失函数，采用Caffe平台对该卷积神经网络进行训练，收敛卷积神经网络，得到特征向量提取模型；在所述步骤B5中，包括：包括使用欧式距离对人脸的相似度进行衡量，若欧式距离小于预设值，则所比对的两张人脸图像所属同一人，若欧式距离大于预设值，则所必对的两张人脸图像所属非同一人。

全文数据：

权利要求：

百度查询： 广东宏乾科技股份有限公司 一种用餐智能检测评分方法和系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD