申请/专利权人：河北工业大学;温州信达交通工程试验检测有限公司;泰顺温州理工研究院

申请日：2024-04-03

公开（公告）日：2024-07-05

公开（公告）号：CN118298390A

主分类号：G06V20/54

分类号：G06V20/54;G06V20/52;G06V10/82;G06V10/25;G06T7/277;G06T7/292;G06T7/80;G06V20/64;G06V10/26;G06V10/10;G06V10/44;G06N3/0455;G06N3/0464;G08G1/01

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.07.23#实质审查的生效;2024.07.05#公开

摘要：本发明为多视角融合的智慧十字路口车辆轨迹预测及事故预警方法，基于多视角融合对十字路口特征节点提取，并利用三维重建的体素建模实现了十字路口全景三维空间模型的构建。建立融合模型，对通过十字路口的车辆、行人进行实时检测以及根据运动的轨迹进行追踪预测，同时通过路侧设备与车载单元进行信息交互可以对发生的事故进行预警，并根据车辆和行人的空间位置匹配到十字路口的全景三维空间模型中，解决了单视角遮挡的问题。

主权项：1.一种多视角融合的智慧十字路口车辆轨迹预测及事故预警方法，其特征在于，所述方法包括以下内容：第一部分、多视角融合构建实时的十字路口三维空间模型：在十字路口上运用相机在同一高度同一方向在同一区域采集有阴影的图片和对应的无阴影图片，不同时刻采集且时间差固定，并将阴影标注出来，对采集的有无阴影的图像进行调亮和去噪预处理后组成阴影数据集；建立DeepLabv3+模型，输入为相机图片，输出为阴影去除并补偿阴影区域后的图像，利用阴影数据集的图像数据对DeepLabv3+模型进行训练，DeepLabv3+模型将学习阴影区域与非阴影区域之间的关系；在十字路口上使用相机在规定的高度和方向通过长时间的连续拍摄的两组相同图片，一组将图片标注出边缘，对两组图片进行调亮和去噪预处理后组成边缘图像数据集；建立U-Net模型，用于图像边缘补偿，输入为边缘图像数据集中的相机图片，输出为边缘补偿后的图片；在十字路口上使用相机在规定的高度和方向上任意采集一个车道的车道图像，在车道图像中标记出车道的特征点，然后在不同视角下获得该车道的图像，利用最近邻匹配算法进行匹配，确定该标记车道在不同视角下的位置信息，获得不同视角下的像素坐标变换矩阵；在十字路口上安装同一平面的不同方向和角度的八个相机，多个相机采集十字路口的图像数据，并在图像数据中标记车道特征点，获得多个不同角度和位置的图像；再通过DeepLabv3+模型处理后，获得阴影去除并补偿的图片，将阴影去除并补偿的图片输入U-Net模型获得边缘补偿后的图像；再通过不同视角下的像素坐标变换矩阵使图像对齐，获得一个完整的二维十字路口图像；根据视差原理进行计算，利用三维重建获得实时的十字路口三维空间模型；第二部分、建立融合模型进行实时检测和轨迹的追踪预测：所述融合模型包括改进的YOLOv8算法和轨迹追踪算法；所述改进的YOLOv8算法包括输入输入层、Neck和Head部分，在输入层输入八个相机拍摄并经过阴影及边缘补偿的图片，在Backbone部分引入SPD-Conv模块，并使用MobileNet轻量级网络代替原有的Darknet53网络；在每个深度可分离卷积模块后面加入SENet模型，SENet模型用来通过学习每个通道的权重来加强重要的特征通道，增强模型对目标区域的关注程度；在输出层采用Soft-NMS算法，调整NMS的参数，对重叠的目标进行筛选，同时引入像素点位置修正模块，能够准确地定位目标的边界框；输入八个相机拍摄并经过阴影及边缘补偿的图片，经过改进的YOLOv8算法输出带有边界框的八个结果，对这八个来自不同视角的结果应用最近邻算法进行目标的匹配和关联，再采用Kalman滤波对匹配的目标进行追踪，将不同视角的跟踪结果进行融合，对检测目标的轨迹进行更新和预测；第三部分、预警在十字路口的相机中安装路侧设备RSU，设置安全距离阈值1米来进行事故预警；若两辆车的预测轨迹的距离小于设定的阈值，路侧设备会发出警报，同时将预警信息发送到目标车辆，由目标车辆的车载单元OBU接收，驾驶员根据信息及时作出调整，避免事故发生，有效的预防车辆发生碰撞。

全文数据：

权利要求：

百度查询： 河北工业大学 温州信达交通工程试验检测有限公司 泰顺温州理工研究院 多视角融合的智慧十字路口车辆轨迹预测及事故预警方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD