买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种列车司机行为识别分析装置及方法，所述分析装置包括：识别分析单元，所述识别分析单元设有用于采集列车实时状态数据及视频图像的数据采集模块、用于通过识别视频图像中的人脸来判断驾驶员身份的人脸识别模块、用于识别视频图像中驾驶员的动作、五官、头部偏转角度判断驾驶员行为的行为识别模块，用于判断识别视频图像遮挡状态的摄像头遮挡状态识别模块，以及根据人脸识别模块、行为识别模块和摄像头遮挡状态识别模块识别结果生成预警信息的预警模块；电源接口单元，为识别分析单元供电。本发明能够实时监控每列车司机的驾驶行为，对司机的驾驶行为进行自动识别分析,在发现驾驶员有危险驾驶情况时及时给予警示，避免发生安全事故。

主权项：1.一种列车司机行为识别分析方法，采用列车司机行为识别分析装置，其特征在于，其步骤为:获取视频图像，对视频进行拉取、解码，得到RGB图像；向RGB图像添加时间、车号信息字幕,将添加字幕后的RGB图像编码为h264视频,使用队列缓存h264视频数据，等待启动存储信号；对RGB图像进行人脸识别，并将检测到的人脸与司机人脸特征进行对比，若非司机，保存该RGB图像，发送报警信息，并启动保存h264视频数据，若是司机，检测是否上车打卡，若已上车打卡，将车辆信息和识别到的司机信息发送至服务器；对人脸识别后为司机的RGB图像进行疲劳识别、视野偏离识别、危险行为识别、操作动作识别四种行为识别，若检测到行为异常，则向RGB图像添加报警信息字幕，保存该RGB图像，发送报警信息和车辆信息至服务器，并启动保存h264视频数据；人脸识别的方法为：使用卷积神经网络对输入的视频图像原图进行处理，从一张视频图像中检测出符合设定要求的人脸位置，回归出人脸矩阵框的位置，利用卷积神经网络的关键点检测得到关键点的检测结果，非人脸的图片进行不筛选，筛选出人脸图片，对人脸进行跟踪及标记回归出人脸关键点，包括两个眼睛的坐标，鼻子和嘴角坐标，得到人脸图像；将人脸图像进行光照规整、角度规整以及人脸对齐规整得到统一的标准人脸图像；其中，光照规整结合场景的多变与光照的复杂性，通过直方图归一化、噪声处理及信息增强，将人脸调整到能够识别的最佳效果；通过卷积神经网络从标准人脸图像中抽取出图像特征；根据抽取的图像特征与司机人脸特征对比，识别人脸；疲劳识别的方法为：若驾驶员连续n帧中存在一只眼睛闭着或者两只眼睛都闭着的状态，则判断为疲劳状态，反之则为正常状态；视野偏离识别的方法为：识别驾驶员头部转动姿态的俯仰角、横滚角以及偏航角三个角度，当连续n帧识别到的上述三个方向角度中某个方向角度都超过该方向的角度阈值，则判断为视野偏离状态，反之则为正常状态；危险行为识别的方法为：若驾驶员存在使用手机、抽烟、打哈欠、左顾右盼、不专心驾驶的动作姿态，则判断为危险行为，反之则为正常行为；所述列车司机行为识别分析装置包括识别分析单元、为识别分析单元提供DC15V电源的电源接口单元、第一通信接口单元和第二通信接口单元、4G模块和232模块；所述识别分析单元设有：数据采集模块，用于采集列车实时状态数据及视频图像；人脸识别模块，用于通过识别视频图像中的人脸来判断驾驶员的身份；行为识别模块，用于识别视频图像中驾驶员的动作、五官、头部偏转角度判断驾驶员的行为；摄像头遮挡状态识别模块，用于判断识别视频图像遮挡状态；预警模块，根据人脸识别模块、行为识别模块和摄像头遮挡状态识别模块识别结果生成预警信息；所述人脸识别模块包括：人脸检测模块，从一张视频图像中检测出符合设定要求的人脸位置，筛选人脸图片，并进行人脸关键点标记，得到人脸图像，人脸检测模块对视频图像中的人脸检测包括人脸矩阵框检测、人脸关键特征点检测和人脸角度估计、人脸跟踪及人脸标记四个部分；人脸规整模块，将人脸图像进行光照规整、角度规整以及人脸对齐规整得到统一的标准人脸图像；其中，光照规整结合场景的多变与光照的复杂性，通过直方图归一化、噪声处理及信息增强，将人脸调整到能够识别的最佳效果；特征提取模块，通过卷积神经网络从标准人脸图像中抽取出图像特征；比对识别模块，根据抽取的图像特征与司机人脸特征对比，识别人脸；所述行为识别模块包括：危险行为识别模块，用于通过识别视频图像中驾驶员的动作确定驾驶员的危险行为；疲劳状态识别模块，用于通过识别视频图像中驾驶员的眼睛状态确定驾驶员的疲劳状态；视野偏离状态识别模块，用于通过识别视频图像中驾驶员的头部偏转角度确定驾驶员的视野偏离状态；所述第一通信接口单元设有CAN接口及以太网接口，CAN接口连接CAN收发器，CAN收发器通过电平转换模块与识别分析单元连接，在CAN收发器与电平转换模块之间设有CAN数据隔离器，太网接口通过第一网络变压器连接交换机，所述交换机与识别分析单元连接，所述第二通信接口单元通过第二网络变压器与交换机连接；所述4G模块与预警模块连接，并通过4G模块与地面服务器进行通信，将预警模块中生成的预警信息传输至地面服务器；所述232模块分别与识别分析单元和第二通信接口单元连接，用于将数据TTL电平转换成232电平。

全文数据：

权利要求：

百度查询： 中车青岛四方车辆研究所有限公司 列车司机行为识别分析装置及方法