买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

摘要：本发明公开了基于多模态Transformer网络的驾驶员疲劳检测系统，涉及深度学习及智能生物医学信号处理。数据采集模块，用于获取驾驶员的脑电信号及其面部表情图像块；嵌入处理模块，用于对脑电信号和面部表情图像块进行嵌入处理，以获取脑电令牌和图像块令牌；自注意力分析模块，用于通过Transformer编码器对脑电令牌和图像块令牌进行多头自注意力分析，以获取脑电信号令牌向量和图像块令牌向量；结果预测模块，用于通过预测函数式对令牌向量进行结果预测。本发明能够根据驾驶员的脑电和面部表情来获得驾驶员的驾驶状态并实时地给出反馈，有效提高了驾驶的安全性。

主权项：1.基于多模态Transformer网络的驾驶员疲劳检测系统，其特征在于，包括，数据采集模块，用于采集驾驶员的脑电信号及其面部表情图像，并将所述面部表情图像分割为面部表情图像块；嵌入处理模块，用于对所述脑电信号和面部表情图像块进行嵌入处理，以获取脑电令牌和图像块令牌；自注意力分析模块，用于通过Transformer编码器对所述脑电令牌和图像块令牌进行多头自注意力分析，以获取脑电信号令牌向量和图像块令牌向量；结果预测模块，用于通过能进行降维处理的预测函数式对所述脑电信号令牌向量和图像块令牌向量进行结果预测；通过以下公式对所述脑电信号和面部表情图像块进行嵌入处理，EEG＝[EEGclass；EEG1；…；EEGt]+posEEG；Image＝[Imageclass；ImagePatch1；…；ImagePatchn]+posImage；式中，EEG为脑电令牌，且EEG∈Rt×c；R为实数域；t为时间维度上的采样点的数目；C为通道数目；EEGclass为脑电信号类别令牌；posEEG为脑电信号的位置嵌入矩阵，且posEEG∈Rt+1×c；Image为图像块令牌；Imagevlass为面部表情图像块类别令牌；posImage为面部表情图像块的位置嵌入矩阵，且posImage∈Rn+1×c；通过以下公式为所述脑电令牌和图像块令牌添加位置向量， 式中，PEpos,2i为元素的行向量；PEpos,2i+1为元素的列向量；pos为脑电信号或面部表情图像块在时序序列中的位置，也即位置嵌入矩阵中的行向量；i是矩阵行向量的维度；所述面部表情图像分割为面部表情图像块的数量为，n＝H×LP2；式中，P为图像尺寸；L为图像长度；H为图像宽度；C为通道数目。

全文数据：

权利要求：

百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于多模态Transformer网络的驾驶员疲劳检测系统