买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连民族大学

摘要：本发明公开基于多模态自适应权重融合的全天候分心驾驶检测方法，构建包括光照权重调节网络和近红外光和可见光图像融合网络的基于多模态自适应权重融合的网络；通过光照权重调节网络可提取当前输入的可见光图像的光照似然特征值；按照输出的光照似然特征值归一化生成的融合权重，将可见光及近红外图像输入到图像融合网络后输出融合后图像；将打上分心驾驶标签的融合后的图像输入基于YoloV5的暗光增强网络模型，得到分心驾驶标签对应的驾驶行为状态；根据预设的分心驾驶条件得到该状态是否为分心驾驶。本发明将近红外光和可见光的优势结合来增强对驾驶员图像特征的信息提取能力，提高分心驾驶检测准确率，使其满足全天候下分心驾驶检测需求。

主权项：1.基于多模态自适应权重融合的全天候分心驾驶检测方法，其特征在于：包括以下步骤：步骤一：构建近红外-可见光驾驶员图片数据集；利用近红外和可见光双目摄像头同时采集全天候环境下的驾驶员近红外和可见光图像，其中同时采集的近红外光图像与可见光图像作为数据集中的一个样本；步骤二：构建基于多模态自适应权重融合的网络；所述基于多模态自适应权重融合的网络包括光照权重调节网络和近红外光和可见光图像融合网络；所述光照权重调节网络包括依次相连的多个卷积层、一个全局平均池化GAP以及两个全连接层；将被标签过白天或黑夜的可见光图像输入光照权重调节网络，提取出该输入图像当前的光照似然特征值；步骤三：所述近红外光和可见光图像融合网络包括可见光图像特征提取模块、近红外图像特征提取模块、特征加权融合模块以及图像重建模块；所述可见光图像特征提取模块与近红外图像特征提取模块并联后，将输入的可见光图像、近红外光图像提取出的特征及生成的融合权重传递至特征加权融合模块进行加权融合；融合后的特征信息通过图像重建模块得到融合后的图像；步骤四：采用步骤一生成的数据集，生成训练集和验证集对基于多模态自适应权重融合的网络进行模型训练，直至模型收敛；步骤五：构建基于YoloV5的暗光增强网络模型，该暗光增强网络模型为在YoloV5网络的输入端加上PE-Net图像增强网络；所述PE-Net图像增强网络包括依次相连的特征提取模块FEM、增强模块EM和融合模块FM；步骤六：对步骤五融合后的图像进行分心驾驶标签标注；所述分心驾驶标签为手部状态标签；所述手部状态包括正常、玩手机、抽烟、喝水状态；步骤七：将步骤六打好的标签的图像作为基于YoloV5的暗光增强网络模型的样本数据集，输入步骤五构建的基于YoloV5的暗光增强网络模型中进行训练并验证，得到训练好的全天候下的分心驾驶行为检测模型；步骤八：基于预设的采集图像的时间周期，不间断的获取货车驾驶员近红外和可见光图像，将带有相同时序信息的驾驶员近红外和可见光图像同时输入训练好的基于多模态自适应权重融合的网络中，输出融合后图像；将融合后的图像传递至训练好的全天候下的分心驾驶行为检测模型即可得到该驾驶员的分心驾驶标签对应的驾驶行为状态，根据获得的驾驶行为状态进行判断是否存在分心驾驶，及其分心驾驶的类型。

全文数据：

权利要求：

百度查询： 大连民族大学 基于多模态自适应权重融合的全天候分心驾驶检测方法