首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于全景分割与关系检测的铁路场景理解方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:北京交通大学

摘要:本发明提供一种基于全景分割与关系检测的铁路场景理解方法及系统,属于基于计算机视觉的铁路运行安全检测技术领域,将全景分割模型与关系检测模型集成在一个端到端的模型中,采用多模态多类别损失函数叠加的方式进行模型训练,得到场景理解模型,实现铁路场景中各目标的分割与目标之间关系的判断;场景理解模型包括多维度特征增强模块、交叉耦合式多模态编解码网络以及多元多模态预测模块。本发明将环境中的各个目标进行像素级分割,并精确推断各目标之间的相对关系;耦合结构的存在,不同模态的信息在这个过程中会互相引导,实现全景分割任务与关系检测任务的相互协调;多类别集中式损失函数,平衡不同模态任务的收敛程度,避免单一模态失效。

主权项:1.一种基于全景分割与关系检测的铁路场景理解方法,其特征在于,包括:利用预先训练好的场景理解模型对获得的待识别的铁路场景图进行处理,得到识别结果,所述识别结果包括铁路场景图中各目标类别以及各目标之间的关系类别;所述目标包括入侵目标和铁路设备设施;基于目标类别及各目标之间的关系类别,进行铁路场景入侵目标识别或铁路设备设施异常形态预警;其中,所述场景理解模型包括:多维度特征增强模块,用于从空间维度和通道维度进行特征增强,得到强化特征;交叉耦合式多模态编解码网络,用于将强化特征结合目标序列和各目标之间的关系序列进行有序拼接,得到包含目标类别以及各目标之间关系的多模态信息的融合特征;多元多模态预测模块,用于生成各目标分割结果以及各目标之间主谓宾三元组关系预测结果。

全文数据:

权利要求:

百度查询: 北京交通大学 基于全景分割与关系检测的铁路场景理解方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。