买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：嘉祥县公共就业和人才服务中心

摘要：本发明涉及视频分析的技术领域，公开了一种视频分析的候选人精细化筛选方法，所述方法包括：采集候选人面试视频并进行内容提取和预处理获取候选人面部表情、动作信息和语言信息，结合语音识别技术提取语言信息；根据提取得到的面部表情信息和动作信息进行自信程度评估；利用语音识别技术将视频中的语音内容转换成文本，使用文本挖掘方法获取知识点，并与标准知识点进行重合度匹配得到候选人的知识点匹配程度；对提取得到候选人自信程度评估结果和知识点匹配程度结果进行融合评估得到候选人综合评估结果，并根据综合评估结果实现候选人的筛选。

主权项：1.一种视频分析的候选人精细化筛选方法，其特征在于，所述方法包括：S1：采集候选人面试视频并进行内容提取和预处理获取候选人面部表情信息、动作信息和语言信息，结合语音识别技术提取语言信息；S2：根据提取得到的面部表情信息和动作信息进行自信程度评估，其中采用面部表情分析和手部动作识别算法进行所述自信程度评估；S3：利用语音识别技术将视频中的语音内容转换成文本，使用文本挖掘方法获取知识点，并与标准知识点进行重合度匹配得到候选人的知识点匹配程度；S4：对提取得到的候选人自信程度评估结果和知识点匹配程度结果进行融合评估得到候选人综合评估结果，并根据综合评估结果进行候选人筛选；所述S1步骤中采集候选人面试视频并进行内容提取和预处理获取候选人面部表情、动作信息和语言信息，包括：S11：使用视频采集设备录制候选人的面试视频，将采集的视频分解为一系列帧图像，采用人脸检测算法检测每一帧中的人脸位置，并对检测到的人脸进行对齐，最后使用面部表情识别算法分析对齐后的面部图像，以获取候选人的面部表情信息；所述面部表情识别算法由多个并行的卷积分支组成，每个分支具有不同大小的卷积核以便捕获不同尺度和层次的特征；所述卷积核包括：1x1卷积分支、3x3卷积分支、5x5卷积分支和最大池化分支，将所述分支的输出特征图级联在一起进行全局平均池化和分类得到面部表情识别结果；S12：对采集的面试视频进行人体关键点检测获取候选人的关键点位置，根据检测到的关键点序列，使用动作识别算法来识别候选人的动作信息，其中采用基于时序模型的动作识别方法进行所述动作识别；S13：对采集的面试视频中的音频信息进行预处理并使用语音识别引擎将音频信息转换为文本并对识别到的文本进行实体识别得到语言信息；所述S12步骤中对采集的面试视频进行人体关键点检测获取候选人的关键点位置，根据检测到的关键点序列，使用动作识别算法来识别候选人的动作信息，包括：A1：构建多分辨率特征提取器，所述提取器在不同分辨率下进行特征信息提取得到不同分辨率条件下的特征图，通过在不同分辨率的特征图之间进行信息交换捕获全局和局部的特征信息，对捕获得到的全局和局部特征信息进行多次融合操作，提升特征的表达能力生成语义特征；最后通过对融合后的语义特征进行关键点预测，输出每个关键点的置信度和精确位置，所述融合操作的计算公式为： 其中：表示第i个分辨率下的融合后特征向量；Upsampling表示上采样操作；Fi表示第i个分辨率下的特征向量；A2：从检测到的人体关键点序列中提取动作特征，所述动作特征包括关节角度、手部关键点聚集度和脚部运动轨迹，所述关节角度的计算公式为： 其中：x1,y1，x2,y2和x3,y3表示关节三个关键点坐标；arctan表示反正切函数；θ表示关节角度；手部关键点聚集度通过手部关键点的位置信息计算得出，计算公式为： 其中：D表示手部关键点聚集度；Pi和Pj分别表示手部第i和第j个关键点的位置向量；n表示手部关键点的数量；脚部运动轨迹计算公式为： ；其中：T表示脚部运动轨迹信息；Qi表示脚部关键点的位置向量；t表示脚部关键点数量；所述S4步骤中对提取得到的候选人自信程度评估结果和知识点匹配程度结果进行融合评估得到候选人综合评估结果，包括：S41：对候选人的自信程度评估结果和知识点匹配程度结果进行归一化处理；S42：利用灰色关联度方法计算自信程度评估结果和知识点匹配程度结果之间的关联度，计算公式为： ；其中：表示自信程度评估结果与知识点匹配程度结果之间的关联度；和分别表示第i个候选人的自信程度评估和知识点匹配程度得分；ρ0表示用于保证分母非零的正数；λ表示关联度参数；表示候选人数量；S43：将计算得到自信程度评估结果与知识点匹配程度结果之间的关联度、自信度评估结果和知识点匹配程度结果进行加权综合评估，并对候选人的综合评估结果进行排序，根据得分高低进行候选人的筛选。

全文数据：

权利要求：

百度查询： 嘉祥县公共就业和人才服务中心 一种视频分析的候选人精细化筛选方法