申请/专利权人：平安科技(深圳)有限公司

申请日：2019-05-21

公开（公告）日：2024-07-05

公开（公告）号：CN110245574B

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2021.04.23#实质审查的生效;2019.09.17#公开

摘要：本发明提供了一种用户疲劳状态识别方法、装置及终端设备，适用于数据处理技术领域，该方法包括：采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到用户在第一预设时间段的第一眨眼频率和第一闭眼次数；将第一眨眼频率和第一闭眼次数输入至预先生成的模糊控制器，得到用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；若用户的实时疲劳等级高于预设等级阈值，向用户输出安全警告。本发明实施例保证了用户疲劳驾驶状态识别的准确性，保障了用户驾驶安全。

主权项：1.一种用户疲劳状态识别方法，其特征在于，包括：采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告；所述模糊控制器的生成，包括：获取预先采集的所述用户在多个第二预设时间段内的脸部视频，所采集的视频是用户在不同疲劳状态下的脸部视频；对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数；获取各个所述第二预设时间对应的所述用户的疲劳等级；将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子；根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数；基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。

全文数据：一种用户疲劳状态识别方法、装置及终端设备技术领域本发明属于数据处理技术领域，尤其涉及用户疲劳状态识别方法及终端设备。背景技术疲劳驾驶是一项危险系数极高的行为，会给社会带来巨大的经济损失和人员伤亡，也是现在交通事故主要隐患之一。为了防止用户疲劳驾驶，市场上已经出现了一些用户疲劳驾驶检测的方法和对应的实际产品，但实际应用结果均不理想，对用户疲劳驾驶状态的检测准确性不高，难以实施保障用户的安全。发明内容有鉴于此，本发明实施例提供了一种用户疲劳状态识别方法及终端设备，以解决现有技术中对用户疲劳驾驶状态识别不准确的问题。本发明实施例的第一方面提供了一种用户疲劳状态识别方法，包括：采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。本发明实施例的第二方面提供了一种用户疲劳状态识别装置，包括：数据获取模块，用于采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；疲劳识别模块，用于将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；安全警告模块，用于若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。本发明实施例的第三方面提供了一种终端设备，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下上所述的用户疲劳状态识别方法的步骤。本发明实施例的第四方面提供了一种计算机可读存储介质，包括：存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的用户疲劳状态识别方法的步骤。本发明实施例与现有技术相比存在的有益效果是：通过预先构建基于眨眼频率和闭眼次数对应用户疲劳状态的模糊控制器，并在用户驾驶过程中进行眨眼频率和闭眼次数的检测识别，由于当用户疲劳驾驶时，其闭眼次数和眨眼频率会明显高于正常状态下的值，因此再将实时驾驶过程中的眨眼频率和闭眼次数基于模糊控制器进行处理，即可得到用户驾驶过程实时的实时疲劳等级，最后在用户实时疲劳等级较高，即可能存在疲劳驾驶时，对用户进行警告，以提示用户注意安全驾驶，保证了用户疲劳驾驶状态识别的准确性，保障了用户驾驶安全。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本发明实施例一提供的用户疲劳状态识别方法的实现流程示意图；图2是本发明实施例二提供的用户疲劳状态识别方法的实现流程示意图；图3是本发明实施例三提供的用户疲劳状态识别方法的实现流程示意图；图4是本发明实施例四提供的用户疲劳状态识别方法的实现流程示意图；图5是本发明实施例五提供的用户疲劳状态识别方法的实现流程示意图；图6是本发明实施例六提供的用户疲劳状态识别装置的结构示意图；图7是本发明实施例七提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。为了便于理解本发明，此处先对本发明实施例进行简要说明，考虑到实际情况中，当人体处于疲劳状态时容易出现困乏的情况，此时用户的眨眼频率和闭眼次数等生理指标数据会出现明显的上升情况，因此本发明实施例中会基于这些生理指标数据来进行用户的疲劳识别。但另一方面，考虑到实际情况中，对于不同用户而言其个体特性不同，最终表现出的疲劳情况下的各项生理指标参数变化情况也会有所差异，因此若直接预设的一些固定阈值来进行生理指标数据评估必然会导致最终结果的不准确，因此，在本发明实施例中，会针对个体用户的实际情况来构建对应的模糊控制器，在实际驾驶过程中对用户进行眨眼频率和闭眼次数的监测和实时模糊控制器的处理，并在发现用户疲劳等级较高时，即存在疲劳驾驶风险时，发出安全警告，详述如下：图1示出了本发明实施例一提供的用户疲劳状态识别方法的实现流程图，详述如下：S101，采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到用户在第一预设时间段的第一眨眼频率和第一闭眼次数。在本发明实施例中，对用户疲劳驾驶监测是实时进行的，因此在进行脸部视频等数据获取时也是获取用户在驾驶过程中的实时视频，具体而言，本发明实施例中会以预先设置一个采样时长和采样频率，例如采样时长5秒钟，采样频率1次秒，并会在用户驾驶过程中，以采样时长和采样频率为标准来采集用户的脸部视频，如每次采集用户5秒钟的脸部视频，从而实现对用户的实时监测，其中，采样的频率可以由技术人员根据实际需求设定，由于采样频率越高对设备软硬件的要求越高，所带来的成本也就越高，但另一方面采样频率越高得到的数据实时性效果越好，发现疲劳驾驶的及时性越高，因此，技术人员可以基于实际成本和对疲劳驾驶检测及时性两者进行衡量来进行采样频率的设置。例如，对于一些高速公路等场景，由于用户只要一出现疲劳驾驶，就极有可能会造成严重后果，针对该类场景可以将采样频率设置的较小，如2次秒，此时本发明实施例会每隔0.5秒进行一次预设采样时长的采样，此时若采样时长大于0.5秒，如上述的5秒，本发明实施例则会出现采样重叠的情况，即前后几次采集的脸部视频是存在大量重叠的情况，此时虽然会带来一定的处理成本上升，但可以及时的发现用户疲劳驾驶情况，有利于保障驾驶安全。在技术人员设置好上述的采样时长和采样频率的基础上，本发明实施例会按照采样时长和采样频率对用户实时进行脸部视频采样，因此在本发明实施例中，每次处理的第一预设时间段的时长等于采样时长，但第一预设时间段的时间起点和时间终点需要根据实际情况确定，具体而言，本发明实施例需要获取距离当前时刻最近的一次采样得到的脸部视频，则该脸部视频的采样起始时间和终止时间即为第一预设时间段的起始时间和终止时间。在获取到用户的脸部视频之后，本发明实施例会对脸部视频进行人眼定位，以及眨眼和闭眼的识别，并统计在第一预设时间段内用户的眨眼频率和闭眼次数，其中对眨眼的识别方法和闭眼的识别方法此处不予限定，可由技术人员根据实际需求设定，包括但不限于如基于上下眼皮的距离来识别眨眼和闭眼，或者利用基于深度学习的眨眼和闭眼识别，亦可以参考本发明实施例二和本发明实施例三进行识别。S102，将第一眨眼频率和第一闭眼次数输入至预先生成的模糊控制器，得到用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级。在本发明实施例中，会预先针对用户的实际情况构建对应的用于疲劳等级识别的模糊控制器，模糊控制器实施模糊控制的过程主要包括输入模糊化、模糊推理以及去模糊化，具体可参考本发明实施例五和本发明实施例六的相关说明。其中，输入模糊化是指将输入变量在一个基本论域的一个实际值转换为语言变量的转化过程。模糊推理是指根据模糊控制规则对输入进行计算得到输出的推理过程，在本发明实施例中，模糊控制规则为根据多次实践得到的密码强度评分规则。在获取到用户实时的第一眨眼频率和第一闭眼次数之后，本发明实施例会将这些生理指标数据直接输入至预先构建的户对应的模糊控制器，从而得到用户实时的疲劳等级情况。其中，对疲劳等级的划分可以由技术人员根据实际情况划分设定，如可以设置为包括不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳。S103，若用户的实时疲劳等级高于预设等级阈值，向用户输出安全警告。在本发明实施例，会预先设一个疲劳的等级阈值，当识别出的用户疲劳等级高于该等级阈值时，即判定用户处于疲劳驾驶状态，此时会直接向用户发出安全警告，以提醒用户注意安全驾驶。其中，安全警告的具体形式可由技术人员根据实际需求设计，优选地，可以是语音警告。作为本发明的一个优选实施例，可以预先设置好当用户疲劳驾驶时的紧急处理模式，如自动控制车辆缓慢停止行驶或者向紧急联系人发出警告，此时，在进行安全警告输出的同时，本发明实施例还会自动触发对应的紧急处理模式，以保证用户驾驶的安全。在本发明实施例中，用户疲劳状态识别方法的执行主体可以根据实际应用需求进行设定，既可以是一个独立的终端设备安装于车辆之中，如一个独立的具有检测和报警功能的疲劳检测仪，也可以是集成与其他设备之中的硬件模块，例如可以将本发明实施例集成于行车记录仪之中，因此对于本发明实施例的软硬件需求，具体此处不予限定。应当说明地，在本发明实施例中，采集脸部视频的执行主体和进行疲劳识别的执行主体可以是同一个也可以是不同，当不是同一个执行主体时，采集的终端需满足上述的采样时长和采样频率对人脸视频进行采集，并实时传输至进行疲劳识别的终端，使得进行疲劳识别的终端处理的是实时最新的用户脸部视频即可。作为本发明实施例一中进行闭眼次数分析的一种具体实现方式，如图2所示，本发明实施例二，包括：S201，对脸部视频进行分帧处理，得到对应的连续多个图像帧。S202，对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧。在本发明实施例中，会对人眼进行上下眼皮的识别，具体而言，首先会对人脸进行人眼定位，再对人眼图像进行眼皮检测，确定出其中上下眼皮对应的两条弧线，最后计算两条弧线之间的最大距离，作为本发明实施例中的上眼皮和下眼皮的眼皮距离。其中人眼定位方法和眼皮检测方法本发明实施例不予限定，可由技术人员自行设定，包括但不限于如根据人眼在人脸中的大致位置，以及人眼本身为对称的椭圆的特点，来进行人眼定位，同时再对人眼进行灰度化处理，并根据灰度图像中的灰度查来进行眼皮弧线的识别。其中，距离阈值用于判定用户人眼状态是否属于闭眼，可由技术人员自行设定，应当说明地，由于对于不同用户个体而言，其实际人眼特征是存在较大差别的，例如有些人本来就是眯眯眼，此时其上下眼皮的距离相对普通人而言本来就比较小，因此在对距离阈值进行设置时，优选地，应当参考用户实际的情况进行设定，以保证识别的准确可靠。S203，从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组。由于闭眼是一个持续的过程，导致一次闭眼可检测到的眼皮距离小于距离阈值的图像帧必然不止一张，因此为了准确识别出闭眼的次数，本发明实施例中会查找出图像帧中眼皮距离连续小于距离阈值的图像组，对于每一图像组而言，其都是对应着一次独立的闭眼行为，因此每个图像组之间时间是不连续的若连续就会被识别为一个图像组，而不是两个图像组。S204，统计一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将图像组数量判定为第一闭眼次数。应当说明地，本发明实施例针对的是用户疲劳的检测，即本发明实施例中需要检测的是用户疲劳下导致的闭眼，但实际情况中，即使用户不疲劳也会出现正常的眨眼现象，因此在S203筛选出的图像组，其对应的闭眼也有可能是用户非疲劳状态下的闭眼，因此本发明实施例需要将其筛选出来，以保证后续对疲劳状态识别判定的准确性。考虑到实际情况中，非疲劳状态下的用户闭眼一般时间较短其实就是快速眨眼，对应的图像帧数量较少，因此在本发明实施例中会对图像组进行数量筛选，并仅统计其中包含图像帧数量较多的图像组数量，以作为对应的闭眼次数。其中，预设的数量阈值大小，可由技术人员自行设定，优选地，可以设置为5。作为本发明实施例二中计算距离阈值的一种具体实现方式，如图3所示，本发明实施例三会结合用户在非疲劳状态下的眼皮距离情况，并以此确定对应的距离阈值，包括：S301，采集用户在多个第三预设时间段内的脸部视频。在本发明实施例中，会采集用户处于非疲劳状态下的脸部视频，因此第三预设时间段具体对应的时间段可以有技术人员自行设定，只需要是用户处于非疲劳状态下的时间段即可。优选地，考虑到实际情况中，用户在一天中第一次开始驾驶的时候，一般都是非疲劳状态，因此可以将用户在当天第一次开始驾驶时的一段时间设置为第三预设时间，其中具体的时长可由技术人员自行设置，优选地可以设置为1分钟。S302，对脸部视频进行分帧处理，对分帧处理得到的图像帧进行上眼皮和下眼皮的眼皮距离识别，并计算对应的平均眼皮距离。S303，基于平均眼皮距离，计算对应的预设距离阈值。其中，对眼皮距离的计算可参考本发明实施例一的相关说明，此处不予赘述。得到的平均眼皮距离即为该用户在非疲劳状态下的正常眼皮距离，此时本发明实施例会基于这个平均眼皮距离来确定对应的用于识别用户闭眼的距离阈值，具体而言，可以取平均眼皮距离的1n的值作为距离阈值，其中n的具体值可由技术人员设定，优选地，n＝4，或者将平均眼皮距离减去一个预设值，得到距离阈值。在本发明实施例中，通过对用户本人非疲劳状态下的人眼距离进行分析，得到对应的可用于该用户闭眼识别的距离阈值，从而保证了对用户闭眼检测的准确可靠。作为本发明实施例一中进行眨眼频率的一种具体的计算方法，如图4所示，本发明实施例四，包括：S401，对脸部视频进行眨眼识别，并统计识别出的眨眼行为对应的图像帧总数量。S402，计算图像帧总数量与脸部视频包含的图像帧数量之商，得到第一眨眼频率。其中，眨眼识别的方法此处不予限定，可由技术人员自行设定，包括但不限于如基于深度学习的眨眼检测算法等。在确定出脸部视频中包含的眨眼行为之后，本发明实施例会统计这些眨眼行为对应的图像帧总数量，并计算眨眼行为对应的图像帧总数量占脸部视频总图像帧数的商值，从而得到眨眼行为占总第一预设时间段的比例，并作为本发明实施例中的第一眨眼频率。作为本发明实施例五，为了保证本发明实施例一中用户疲劳状态的准确识别，本发明实施例会预先构建用户对应的模糊控制器，如图5所示，包括：S501，获取预先采集的用户在多个第二预设时间段内的脸部视频。在本发明实施例中，主要是为了构建可以用于用户疲劳状态识别的模糊控制器，因此在进行样本数据获取时，需要尽可能地获取用户在不同疲劳状态下的脸部视频，因此在本发明实施例中，第二预设时间的数量以及对应的具体实际时间段可以由技术人员自行选定第二预设时间的时长可以相同也可以不同，由技术人员自行设置，但需要满足包含用户在不同疲劳状态下的脸部视频。优选地，可以先记录用户在一个长时间内驾驶的脸部视频，如一年或两年内驾驶的脸部视频，并从中筛选出包含不同疲劳状态下的脸部视频，此时这些脸部视频对应的时间段即为第二预设时间段。S502，对脸部视频进行处理，得到用户在多个第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数。本发明实施例中对眨眼疲劳和闭眼次数的处理方法与上述本发明实施例一至本发明实施例四相同，具体可参考上述本发明实施例的说明，此处不予赘述。S503，获取各个第二预设时间对应的用户的疲劳等级。在本发明实施例中，对各个样本脸部视频的疲劳等级评估，需要相关专家对脸部视频观看后评估。S504，将每个第二预设时间段对应的第二眨眼频率和第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个第二预设时间段对应的疲劳等级确定为输出变量T，并基于第二眨眼频率、第二闭眼次数和疲劳等级分别确定第一输入变量、第二输入变量和输出变量对应的基本论域、模糊论域、模糊子集和量化因子。具体而言，包括：根据基于第二眨眼频率、第二闭眼次数和疲劳等级确定第一输入变量的基本论域为[0，第一阈值]，第一输入变量的模糊论域为[0，第一阈值R1，第一阈值*2R1，第一阈值*3R1，…，第一阈值]，模糊子集为[很少，少，中等，多，很多]，量化因子为1。根据基于第二眨眼频率、第二闭眼次数和疲劳等级确定第二输入变量的基本论域为[0，第二阈值]，第二输入变量的模糊论域为[0，第二阈值R2，第二阈值*2R2，第二阈值*3R2，…，第二阈值]，模糊子集为[很小，小，中等，大，很大]，量化因子为1。根据基于第二眨眼频率、第二闭眼次数和疲劳等级确定第三输入变量的基本论域为[0，第三阈值]，第三输入变量的模糊论域为[0，第三阈值R3，第三阈值*2R3，第三阈值*3R3，…，第三阈值]，模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。其中，第一阈值、第二阈值、第三阈值可以分别对应第二眨眼频率的最大值、第二闭眼次数的最大值和疲劳等级的最大值，例如第一阈值可以为100，第二阈值可以为1，第三阈值可以为1，R1、R2和R3为常数项，用于对基本论域划分得到对应的模糊论域，具体值可由技术人员根据实践经验计算得到。S505，根据第二眨眼频率、第二闭眼次数、疲劳等级、基本论域、模糊论域、模糊子集和量化因子，分别建立第一输入变量的第一隶属函数、第二输入变量的第二隶属函数以及输出变量的第三隶属函数。模糊控制器的隶属函数一般包括：高斯型隶属函数、广义钟形隶属函数、S型隶属函数、梯形隶属函数、三角形隶属函数和Z形隶属函数。在实际应用中，经过专家的实践经验可知，S型隶属函数可以有效地解决疲劳等级识别的问题。具体而言：分别建立第一输入变量、第二输入变量和读出入变量的S型隶属函数Fx＝11+e-ax-c，其中，第一隶属函数、第二隶属函数以及第三隶属函数分别对应的a和c的取值可以根据预先采集的第二眨眼频率、第二闭眼次数、疲劳等级以及第一输入变量、第二输入变量和输出变量分别对应的基本论域、模糊论域、模糊子集和量化因子进行拟合试验得到。通过该隶属函数可以实现输入变量与输出变量之间对应的语言值。S506，基于第二眨眼频率、第二闭眼次数和疲劳等级，建立第一输入变量、第二输入变量和输出变量之间的疲劳等级评分规则，并基于疲劳等级评分规则、第一隶属函数、第二隶属函数以及第三隶属函数，构建模糊控制器。在S505获取了数据之后，可以建立如下表一所示的疲劳状态评分规则：表一其中，Qr为第一输入变量，符号意义为：VS很少、S少、Z中等、B多、VB很多，Qs为第二输入变量，符号意义为：VS很小、S小、Z中等、B大、VB很大，T为输出变量，符号意义为：NP不疲劳、PNP可能不疲劳、MP也许疲劳、PP可能疲劳、P疲劳。本发明实施例中，在建立好上述疲劳状态评分规则之后，即可根据疲劳状态评分规则以及第一隶属函数、第二隶属函数和第三隶属函数完成模糊控制器的生成过程，并利用该模糊控制器对输入变量进行推理得到相应的输出变量。需要说明的是，上述生成模糊控制器的各个参数均为根据实践经验得到，在本发明的一些实施方式中，上述各个参数可以根据不同的应用场景进行微调。对应与上述的输出变量，本发明实施例一的等级阈值，也应当是NP、PNP、MP、PP和P中的一个。通过预先构建基于眨眼频率和闭眼次数对应用户疲劳状态的模糊控制器，并在用户驾驶过程中进行眨眼频率和闭眼次数的检测识别，由于当用户疲劳驾驶时，其闭眼次数和眨眼频率会明显高于正常状态下的值，因此再将实时驾驶过程中的眨眼频率和闭眼次数基于模糊控制器进行处理，即可得到用户驾驶过程实时的实时疲劳等级，最后在用户实时疲劳等级较高，即可能存在疲劳驾驶时，对用户进行警告，以提示用户注意安全驾驶，保证了用户疲劳驾驶状态识别的准确性，保障了用户驾驶安全。同时，基于用户实际真实的情况来进行各个阈值的计算和设置，同时基于用户实际的驾驶过程采集的数据来进行对应的模糊控制器构建，从而使得对用户生理指标参数的等级状态划分更为精准可靠，且保证了最终得到的模糊控制器适用于用户本人，确保了最终对用户疲劳驾驶识别的精准可靠，保障了用户驾驶安全。对应于上文实施例的方法，图6示出了本发明实施例提供的用户疲劳状态识别装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。图6示例的用户疲劳状态识别装置可以是前述实施例一提供的用户疲劳状态识别方法的执行主体。参照图6，该用户疲劳状态识别装置包括：数据获取模块61，用于采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数。疲劳识别模块62，用于将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级。安全警告模块63，用于若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。进一步地，数据获取模块61，包括：对所述脸部视频进行分帧处理，得到对应的连续多个图像帧。对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧。从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组。统计所述一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将所述图像组数量判定为所述第一闭眼次数。进一步地，数据获取模块61，还包括：采集用户在多个第三预设时间段内的脸部视频。对脸部视频进行分帧处理，对分帧处理得到的图像帧进行上眼皮和下眼皮的眼皮距离识别，并计算对应的平均眼皮距离。基于平均眼皮距离，计算对应的所述预设距离阈值。进一步地，该用户疲劳状态识别装置，还包括：对脸部视频进行眨眼识别，并统计识别出的眨眼行为对应的图像帧总数量。计算所述图像帧总数量与所述脸部视频包含的图像帧数量之商，得到所述第一眨眼频率。进一步地，该用户疲劳状态识别装置，还包括：视频获取模块，用于获取预先采集的所述用户在多个第二预设时间段内的脸部视频。数据计算模块，用于对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数。疲劳获取模块，用于获取各个所述第二预设时间对应的所述用户的疲劳等级。模型参数确定模块，用于将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子。函数确定模块，用于根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数。控制器构建模块，用于基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。进一步地，模型参数确定模块，包括：根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第一输入变量的基本论域为[0，第一阈值]，所述第一输入变量的模糊论域为[0，第一阈值R1，第一阈值*2R1，第一阈值*3R1，…，第一阈值]，所述模糊子集为[很少，少，中等，多，很多]，量化因子为1。根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第二输入变量的基本论域为[0，第二阈值]，所述第二输入变量的模糊论域为[0，第二阈值R2，第二阈值*2R2，第二阈值*3R2，…，第二阈值]，所述模糊子集为[很小，小，中等，大，很大]，量化因子为1。根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第三输入变量的基本论域为[0，第三阈值]，所述第三输入变量的模糊论域为[0，第三阈值R3，第三阈值*2R3，第三阈值*3R3，…，第三阈值]，所述模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。本发明实施例提供的用户疲劳状态识别装置中各模块实现各自功能的过程，具体可参考前述图1所示实施例一的描述，此处不再赘述。应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。还应理解的是，虽然术语“第一”、“第二”等在文本中在一些本发明实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一表格可以被命名为第二表格，并且类似地，第二表格可以被命名为第一表格，而不背离各种所描述的实施例的范围。第一表格和第二表格都是表格，但是它们不是同一表格。图7是本发明一实施例提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71，所述存储器71中存储有可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个用户疲劳状态识别方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块单元的功能，例如图6所示模块61至66的功能。所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入发送设备、网络接入设备、总线等。所称处理器70可以是中央处理单元CentralProcessingUnit，CPU，还可以是其他通用处理器、数字信号处理器DigitalSignalProcessor，DSP、专用集成电路ApplicationSpecificIntegratedCircuit，ASIC、现成可编程门阵列Field-ProgrammableGateArray，FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡SmartMediaCard，SMC，安全数字SecureDigital，SD卡，闪存卡FlashCard等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经发送或者将要发送的数据。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。所述集成的模块单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器Read-OnlyMemory，ROM、随机存取存储器RandomAccessMemory，RAM、电载波信号、电信信号以及软件分发介质等。以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

权利要求：1.一种用户疲劳状态识别方法，其特征在于，包括：采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。2.如权利要求1所述的用户疲劳状态识别方法，其特征在于，所述对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一闭眼次数，包括：对所述脸部视频进行分帧处理，得到对应的连续多个图像帧；对每一个图像帧分别进行上眼皮和下眼皮的眼皮距离识别，并查找出其中眼皮距离小于预设距离阈值的图像帧；从眼皮距离小于预设距离阈值的图像帧中，筛选出组内图像帧时间连续，组间图像帧时间不连续的一个或多个图像组；统计所述一个或多个图像组中，包含图像帧数量大于预设数量阈值的图像组数量，并将所述图像组数量判定为所述第一闭眼次数。3.如权利要求1所述的用户疲劳状态识别方法，其特征在于，所述对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率，包括：对脸部视频进行眨眼识别，并统计识别出的眨眼行为对应的图像帧总数量；计算所述图像帧总数量与所述脸部视频包含的图像帧数量之商，得到所述第一眨眼频率。4.如权利要求1至3任意一项所述的用户疲劳状态识别方法，其特征在于，所述模糊控制器的生成，包括：获取预先采集的所述用户在多个第二预设时间段内的脸部视频；对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数；获取各个所述第二预设时间对应的所述用户的疲劳等级；将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子；根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数；基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。5.如权利要求4所述的用户疲劳状态识别方法，其特征在于，所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子，包括：根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第一输入变量的基本论域为[0，第一阈值]，所述第一输入变量的模糊论域为[0，第一阈值R1，第一阈值*2R1，第一阈值*3R1，…，第一阈值]，所述模糊子集为[很少，少，中等，多，很多]，量化因子为1；根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第二输入变量的基本论域为[0，第二阈值]，所述第二输入变量的模糊论域为[0，第二阈值R2，第二阈值*2R2，第二阈值*3R2，…，第二阈值]，所述模糊子集为[很小，小，中等，大，很大]，量化因子为1；根据所述基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级确定所述第三输入变量的基本论域为[0，第三阈值]，所述第三输入变量的模糊论域为[0，第三阈值R3，第三阈值*2R3，第三阈值*3R3，…，第三阈值]，所述模糊子集为[不疲劳，可能不疲劳，也许疲劳，可能疲劳，疲劳]，量化因子为1。6.如权利要求2所述的用户疲劳状态识别方法，其特征在于，在所述采集用户在第一预设时间段内的脸部视频之前，还包括：采集用户在多个第三预设时间段内的脸部视频；对脸部视频进行分帧处理，对分帧处理得到的图像帧进行上眼皮和下眼皮的眼皮距离识别，并计算对应的平均眼皮距离；基于平均眼皮距离，计算对应的所述预设距离阈值。7.一种用户疲劳状态识别装置，其特征在于，包括：数据获取模块，用于采集用户在驾驶过程中的第一预设时间段内的脸部视频，并对脸部视频进行处理，得到所述用户在所述第一预设时间段的第一眨眼频率和第一闭眼次数；疲劳识别模块，用于将所述第一眨眼频率和所述第一闭眼次数输入至预先生成的模糊控制器，得到所述用户的实时疲劳等级，其中，模糊控制器为根据预先采集的用户在预设时间段内的眨眼频率样本数据、闭眼次数样本数据以及在该预设时间段对应的疲劳等级样本数据生成的，用于识别用户疲劳等级；安全警告模块，用于若所述用户的实时疲劳等级高于预设等级阈值，向所述用户输出安全警告。8.如权利要求7所述的用户疲劳状态识别装置，其特征在于，包括：视频获取模块，用于获取预先采集的所述用户在多个第二预设时间段内的脸部视频；数据计算模块，用于对脸部视频进行处理，得到用户在多个所述第二预设时间段内分别对应的第二眨眼频率和第二闭眼次数；疲劳获取模块，用于获取各个所述第二预设时间对应的所述用户的疲劳等级；模型参数确定模块，用于将每个所述第二预设时间段对应的所述第二眨眼频率和所述第二闭眼次数分别确定为第一输入变量Qr和第二输入变量Qs，每个所述第二预设时间段对应的所述疲劳等级确定为输出变量T，并基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级分别确定所述第一输入变量、所述第二输入变量和所述输出变量对应的基本论域、模糊论域、模糊子集和量化因子；函数确定模块，用于根据所述第二眨眼频率、所述第二闭眼次数、所述疲劳等级、所述基本论域、所述模糊论域、所述模糊子集和所述量化因子，分别建立所述第一输入变量的第一隶属函数、所述第二输入变量的第二隶属函数以及所述输出变量的第三隶属函数；控制器构建模块，用于基于所述第二眨眼频率、所述第二闭眼次数和所述疲劳等级，建立所述第一输入变量、所述第二输入变量和所述输出变量之间的疲劳等级评分规则，并基于所述疲劳等级评分规则、所述第一隶属函数、所述第二隶属函数以及所述第三隶属函数，构建所述模糊控制器。9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。

百度查询： 平安科技(深圳)有限公司 一种用户疲劳状态识别方法、装置及终端设备

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD