买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于事件和脉冲神经网络的语义分割方法，属于计算机视觉技术领域，包括如下步骤：步骤S1:将异步事件数据进行预处理；步骤S2:将预处理后的事件输入边界感知的脉冲编码器；步骤S3:将经编码器提取的高维语义特征输入脉冲解码器，最终进行语义预测。本发明的显著效果是提供了一种基于事件和脉冲神经网络的语义分割方法，不依赖额外的视觉信息；并在时间和空间两个维度上计算和传递事件数据；并具有脉冲神经网络的计算效率高、能耗低的特点。

主权项：1.一种基于事件和脉冲神经网络的语义分割方法，其特征在于，包括如下步骤：步骤S1:将异步事件数据进行预处理；步骤S2:将预处理后的事件输入边界感知的脉冲编码器；步骤S3:将经编码器提取的高维语义特征输入脉冲解码器，最终进行语义预测；步骤S2包括：将经预处理的事件序列E输入到脉冲编码器进行多维度的特征提取，其中，脉冲编码器包含三个分支：语义细节分支、上下文聚合分支和边界警醒分支，将上下文聚合分支通过加法融入到语义细节分支，实现从高维视角指导低维特征学习；同时，脉冲编码器结合脉冲神经元，将基本计算操作由耗能的浮点矩阵乘转换为加法，并在时间和空间两个维度上计算和传递事件数据；经预处理后的事件作为语义分割模型的输入，完成语义预测；遵循经典语义分割范式，包含两个模块：特征编码器和解码器；在编码阶段，首先，预处理后的事件序列经由三个下采样卷积层进行特征提取的预处理；接着，编码器通过三个分支提取事件特征：1.语义细节分支：保持高分辨率以保护空间和纹理信息；2.上下文聚合分支：用下采样策略捕获丰富的全局依赖关系；3.边界警醒分支：聚焦于识别物体的边界信息；每个分支均由MS-ResNet提出的残差块堆叠而成；考虑到上下文聚合分支中蕴含的丰富语义信息，使用加操作将上下文特征补充到语义细节分支，实现用高维语义信息辅助低纬的细节分析；使用加操作将上下文特征补充到边界警醒分支；在解码器中，通过加操作融合三个分支提取的特征；为提高计算效率，使用双线性插值将融合特征恢复为原分辨率；在预测头部分，使用最后一个脉冲神经元所有时间维度上的膜电位的平均值，来预测像素的类别；根据网络的脉冲特性和输入数据针对性地设计了一个损失函数，交叉熵损失l0用于测量输出层预测概率与one-hot真值标签之间的差异程度；为了促进网络中语义细节分支的快速收敛，使用了早期语义损失l1；使用边界警醒的交叉熵损失l2，通过对边界及其邻域进行语义优化，达成对边界的软约束；损失l2的具体操作是，如果预测某像素为边界的置信度超过预设阈值θ，那么会将其纳入后续的模型优化步骤；完整的损失为：Loss＝γ0l0+γ1l1+γ2l2#6其中，γ0＝1，γ1＝0.4，γ2＝1且θ＝0.6。

全文数据：

权利要求：

百度查询： 重庆大学 一种基于事件和脉冲神经网络的语义分割方法