首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于Transformer模型的实时场景理解方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:北方工业大学

摘要:本发明属于实时场景理解领域,提供了一种基于Transformer模型的实时场景理解方法,包括:数据采集、数据预处理、数据标注、特征提取、特征融合、语义分割、高维特征提取以及高维特征解码。本发明通过采集图像原始数据、点云原始数据以及环境信息,丰富了识别数据,提高了低光照条件下模型的识别精度;通过图像特征和空间特征融合和语义分割,提高了模型的训练效率。

主权项:1.一种基于Transformer模型的实时场景理解方法,其特征在于,包括:采集图像原始数据、点云原始数据以及环境信息;分别对所述图像原始数据、所述点云原始数据以及所述环境信息进行预处理,得到图像预处理数据、点云预处理数据以及环境预处理数据;对所述图像预处理数据、所述点云预处理数据以及所述环境预处理数据进行数据标注,得到图像标注数据、点云标注数据以及环境标注数据;利用增强型卷积神经网络对所述图像标注数据进行特征提取,得到图像特征;利用PointNet++模型对所述点云标注数据进行特征提取,得到空间特征;将所述图像特征和所述空间特征进行特征融合,得到多模态特征表示;通过预设的语义分割模型利用MAML方法对所述多模态特征表示进行语义分割,得到分割掩码;将所述分割掩码和所述环境标注数据输入到预设的Transformer模型的编码器中,得到高维特征向量;将所述高维特征向量输入到所述Transformer模型的解码器中,得到目标场景理解结果。

全文数据:

权利要求:

百度查询: 北方工业大学 一种基于Transformer模型的实时场景理解方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。