恭喜大连理工大学杨鑫获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜大连理工大学申请的专利一种基于事件相机的图像语义分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116597144B 。
龙图腾网通过国家知识产权局官网在2025-05-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310606274.4,技术领域涉及:G06V10/26;该发明授权一种基于事件相机的图像语义分割方法是由杨鑫;魏小鹏;王超毅设计研发完成,并于2023-05-26向国家知识产权局提交的专利申请。
本一种基于事件相机的图像语义分割方法在说明书摘要公布了:本发明属于计算机视觉技术领域,公开了一种基于事件相机的图像语义分割方法。由于事件数据分布不均,事件帧图像不同区域提供的细节信息差距较大,在事件数据稀疏的区域提取的局部特征可能不具备充足的语义与细节信息,为了有效的提取事件帧图像特征,本发明从全局的角度提取事件特征,利用注意力机制对图像各点建立丰富的全局上下文关系,进而增强网络的表达能力;然后通过图推理模块加强高层级特征的上下文依赖关系,为后续分割预测提供更为准确的语义线索。
本发明授权一种基于事件相机的图像语义分割方法在权利要求书中公布了:1.一种基于事件相机的图像语义分割方法,其特征在于,步骤如下:1特征提取模块事件图像特征提取模块用于从事件数据堆叠的事件图像中提取特征,事件数据用以下公式进行表达: 其中,xk,yk是事件的像素坐标,tk是事件的时间戳,pk=±1是事件的极性;为了将捕获的异步事件数据输入到特征提取模块中,首先通过固定时间间隔,将相同时间间隔内的事件数据进行叠加以形成事件帧图像,再将事件帧图像送入特征提取模块;采用SwinTransformer作为特征提取网络,特征提取模块共输出四个阶段的特征,一阶段低层级特征携带丰富的细节信息,剩余阶段高层级特征携带丰富的语义信息;2事件帧图像注意力模块设计事件帧图像注意力模块,从全局的角度提取事件特征,加强上下文的关联性;对于特征提取模块输出的一阶段事件特征先将其分别经过一个3×3卷积层,得到两个相同维度的特征,再各自将两个特征的后两个维度合并,重塑为其中n=h×w;接下来将E1转置后与E2相乘,得到的结果通过Softmax函数得到特征此时得到建立了每个像素点的全局空间联系的注意力特征图;具体过程表示如下:E1=ReshapeConv3E2E2=ReshapeConv3E3 其中,Conv3表示3×3卷积,Reshape表示重塑操作,Softmax表示Softmax函数;接下来将一阶段事件特征E再经过一个3×3卷积层并且重塑为与E1、E2相同维度的特征然后与E′相乘,将得到的结果重塑为一阶段事件特征E的维度,再与一个可学习的参数α进行元素级乘,然后与一阶段事件特征E相加,此时便得到了经过自注意力计算的特征向量具体计算过程表示如下:E3=ReshapeConv3E5E″=α·ReshapeE3E′+E6其中,α是取值为0~1的可学习的参数,初始化为0;α会从0逐渐增大,旨在逐渐将注意力机制加入到模型中;最后将E″进行空间维度的自适应平均池化操作,然后经过一个1×1卷积层,再通过Sigmoid激活函数进行激活,再次与输入的一阶段事件特征E进行元素级乘,对包含上下文信息的特征进行校正,保留有价值的特征,得到最终的输出结果该过程表示为:M=E·σConv1AvgPo0lE″7其中,Conv1表示1×1卷积,AvgPool表示自适应平均池化操作,σ表示Sigmoid激活函数;3图推理模块将图推理引入语义分割任务,提出了图推理模块;通过一种改进的拉普拉斯公式,在内积引入与位置无关的注意力机制的对角矩阵,实现更好的距离度量;并通过在原始特征空间进行图推理,进一步捕捉长距离的上下文关系,从而更好的提取高层级事件特征;图卷积是一种对图结构数据进行卷积操作的模拟;给定图G=V,E及其邻接矩阵A和度矩阵D,规范化的图拉普拉斯矩阵表示为: 其中,I为单位矩阵,而多层图卷积网络GCN中的逐层传播规则表示为: 其中,Hl是第l层的顶点特征,Θl是第l层的可训练权重矩阵,σ是非线性激活函数;将上式中的传播规则应用于卷积神经网络CNN特征,即设计一种改进的拉普拉斯矩阵确保要学习的长距离上下文关系依赖于输入特征,而不受特定特征的限制;表示为: 其中,diag表示对角操作,表示相似度矩阵,维度n=H×W;对于相似度矩阵,位置i和位置j的相似度表示为: 其中,对于输入的特征先通过1×1的卷积层进行降维操作,得到通道数为C的特征向量,然后进行重塑操作,分别得到特征向量和C设置为64;接下来将特征向量X进行全局平均池化,再通过1×1的卷积层进行降维操作,得到通道数为C的特征向量,接下来通过对角操作得到特征向量最后将三个特征向量进行点乘得到相似度矩阵整个图推理模块表示为: 其中,Y表示模块输出的特征向量,τ表示ReLu激活函数,Θ表示可训练的权重矩阵;将特征提取模块获得的三个阶段的高层级特征分别送入图推理模块,经过图推理模块的特征向量携带了更为丰富的长距离上下文依赖关系,为最终的分割预测提供更为准确的语义线索;4全感知机模块全感知机模块只包含多层感知机,仅仅通过线性操作便将不同层级的特征进行融合,设计简单高效,在保留多数特征信息的同时又降低了解码器的复杂度,降低了计算量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。