申请/专利权人：西北工业大学太仓长三角研究院;同济大学

申请日：2024-04-17

公开（公告）日：2024-07-05

公开（公告）号：CN118072227B

主分类号：G06V20/40

分类号：G06V20/40;G06V10/75;G06V10/80;G06V10/82;G06N3/045;G06N3/042;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.06.11#实质审查的生效;2024.05.24#公开

摘要：本发明属于视频理解技术领域，具体涉及基于知识蒸馏的轨道交通列车测速方法。本发明的方法将Transformer融合yolo使用多场景数据集先在教师神经网络上进行训练，再用不同的单一场景数据集单独训练参数量较小的学生神经网络，来解决Transformer需要计算量大实时性差的问题。考虑到数据集特点，本发明的方法还将蛇形卷积融合到yolo网络模型中来提高性能。本发明使用教师神经网络训练学生神经网络能使模型取得更好的泛化能力，消耗更少的训练时间，也能使模型取得更快的推理速度。除了能够处理固定视角的列车定位与测速，本发明的方法也能处理移动视角下的列车定位与测速，且具有较好的实时性。

主权项：1.基于知识蒸馏的轨道交通列车测速方法，其特征在于，包括以下步骤：步骤S1：采集列车行进视频，将视频帧图像经过FFT算法得到特征点，将特征点和图像融合输入到学生神经网络中；学生神经网络包含yolo学生网络和Transformer网络；步骤S2：步骤S1中的特征点和图像融合输入的数据经过yolo学生网络进行特征点检测；步骤S3：将步骤S2中yolo学生网络检测到的特征点作为序列数据输入到Transformer网络中，经过Transformer网络得到序列匹配信息；步骤S4：学生神经网络基于步骤S3中得到的序列匹配信息结合视频帧率，通过计算输出列车的速度；所述学生神经网络基于教师神经网络训练得到；所述教师神经网络融合了yolo教师网络和Transformer网络，yolo教师网络中添加有自注意力机制以强化捕捉帧之间的光流信息；教师神经网络采用多场景数据集进行训练以提升泛化能力；在教师神经网络的基础上冻结Transformer网络并将yolo教师网络简化为yolo学生网络，得到学生神经网络；学生神经网络使用单一场景数据集进行训练，并基于知识蒸馏将教师神经网络的知识传递给学生神经网络；yolo教师网络的自注意力机制，将特征图转化为Q，K，V三个形状相同的矩阵；Query表示查询矩阵，Key表示键矩阵，Value表示值矩阵；计算自注意力的输出为：Attention（Q，K，V）=softmaxQKTdk^0.5V；其中，Softmax为归一化指数函数，T表示转置，dk为K向量维度的平方根。

全文数据：

权利要求：

百度查询： 西北工业大学太仓长三角研究院 同济大学 基于知识蒸馏的轨道交通列车测速方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD