买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：钧捷科技(北京)有限公司

摘要：本发明涉及安全驾驶技术领域，本发明公开了一种基于深度学习多特征融合的驾驶员疲劳检测方法；包括采集子视频中的头部疲劳参数，计算出子视频的疲劳初级指数，并判定是否进入疲劳检测模式，采集目标子视频中实时的面部疲劳参数，预测出实时的疲劳状态值，并制定出疲劳干预指令；相对于现有技术，本发明通过采集头部疲劳参数，可以对驾驶员是否出现疲劳状态进行初级检测，并结合面部疲劳参数和机器学习模型，能够对驾驶员的真实且最终的疲劳状态进行准确的识别检测，不仅实现了驾驶员驾驶过程中多特征的疲劳驾驶检测效果，同时也利用双重检测方式提高了疲劳检测的准确性，避免了单一方面特征和单次疲劳检测时可能存在的误检测的现象。

主权项：1.一种基于深度学习多特征融合的驾驶员疲劳检测方法，应用于行车电脑，其特征在于，包括：S1：获取驾驶员在检测周期内的头部视频，并基于视频划分准则，将头部视频划分为子视频；视频划分准则为：上一个子视频的视频终点对应的时刻与下一个子视频的视频起点对应的时刻为相邻时刻；子视频的划分方法包括：预先设定检测周期对应的时长，以当前时刻为结束时刻，并标记出向前扩展一个检测周期对应的时长后所在的时刻，记为开始时刻；以开始时刻为起点，以结束时刻为终点，通过摄像头拍摄驾驶员头部位置的视频，获得头部视频；以预设的划分时长为标准，在开始时刻至结束时刻对应的时长内等距标记出个划分时刻；通过个划分时刻将头部视频划分为个初步视频，并将第个划分时刻附加在第个初步视频的尾端，获得个子视频；S2：采集子视频中的头部疲劳参数，并基于头部疲劳参数，计算出子视频的疲劳初级指数，头部疲劳参数包括平衡点偏移率和偏移时长占比值；平衡点偏移率的获取方法包括：A1：以预设的平衡偏移时长为标准，分别在个子视频中标记出p个采集时刻，并从个子视频中分别截取出p个采集时刻对应的图像，获得p个头部图像；A2：通过人脸识别技术逐一识别出p个头部图像中两只眼睛的内眦和鼻子的鼻尖，并在两个眼睛的内眦和鼻子的鼻尖所在位置分别标记出节点，获得三个绘制节点；A3：将三个绘制节点依次连线后，获得三条首尾相连的边界线，并分别测量三条边界线的长度，获得三个边长值；A4：逐一标记出三条边界线的中点，并过三个中点分别与三个绘制节点连线后，获得三条中分线，并将三条中分线的交点记为平衡点；A5：通过数据库查询驾驶员的标准头部图像，通过A2-A4的步骤后，获得标准平衡点，以标准平衡点为圆心，以边长值的最大值为半径画圆，获得平衡区域；A6：将头部图像与标准头部图像等比例缩放后，将p个头部图像逐一叠加在标准头部图像上，并将平衡点位于平衡区域外侧的状态记为偏移状态，并统计偏移状态的数量；A7：将个子视频的偏移状态的数量分别与个子视频的头部图像的数量逐一比较，获得个平衡点偏移率；平衡点偏移率的表达式为： ；式中，为第个子视频的平衡点偏移率，为第个子视频的偏移状态的数量，为第个子视频的头部图像的数量；偏移时长占比值的获取方法包括：在个子视频中，将平衡点第一次位于平衡区域外侧的时刻记为偏移起始时刻，在偏移起始时刻之后，将平衡点第一次位于平衡区域内侧的时刻偏移结束时刻，分别获得w个偏移起始时刻和w个偏移结束时刻；将第w个偏移起始时刻至第w个偏移结束时刻之间的时长记为子时长，获得w个子时长；将大于预设的偏移时长上限值的子时长记为有效时长，获得个有效时长；将个子视频的个有效时长累加后，逐一与个子视频的时长比较，获得个偏移时长占比值；偏移时长占比值的表达式为： ；式中，为第个子视频的偏移时长占比值，为第个子视频的第个有效时长，为第个子视频的时长；疲劳初级指数的表达式为： ；式中，为第个子视频的疲劳初级指数，、为大于0的权重因子；S3：基于疲劳初级指数，从子视频中标记出目标子视频，并判定是否进入疲劳检测模式；若不进入疲劳检测模式，重复执行S1-S3；若进入疲劳检测模式，执行S4；目标子视频的标记方法包括：将个疲劳初级指数逐一与预设的疲劳初级阈值比较；当小于等于时，第个子视频不标记为目标子视频；当大于时，将第个子视频标记为目标子视频，获得x个目标子视频；是否进入疲劳检测模式的判定方法包括：按照时间的先后顺序将x个目标子视频依次排序，并分别标记出x个目标子视频的首端和尾端对应的时刻，获得x个首端时刻和x个尾端时刻；逐一统计出第x个尾端时刻与第x+1个首端时刻处于连续时刻的目标子视频的数量，获得目标连续值；统计出目标子视频的数量，获得目标量值；当目标连续值小于四分之一目标量值时，判定不进入疲劳检测模式；当目标连续值大于等于四分之一目标量值时，判定进入疲劳检测模式；S4：采集目标子视频中实时的面部疲劳参数，面部疲劳参数包括眼睑异常开合率、异常眨眼占比值和嘴巴异常张开频率；S5：将实时的面部疲劳参数输入提前训练好的机器学习模型中，预测出实时的疲劳状态值，并判定是否发出疲劳预警提示；若发出疲劳预警提示，执行S6；若不发出疲劳预警提示，重复执行S4-S5；S6：从面部疲劳参数中标记出目标参数，并统计出目标参数的数量，制定出疲劳干预指令，疲劳干预指令包括声光预警干预指令和声光结合动力干预指令。

全文数据：

权利要求：

百度查询： 钧捷科技(北京)有限公司 一种基于深度学习多特征融合的驾驶员疲劳检测方法