买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

摘要：本发明涉及生物图像处理技术领域，公开了一种基于Transformer的电镜神经元长程追踪方法；将神经元追踪视为一种序列生成问题，使用Transformer模型来进行已追踪片段的编码和候选片段的竞争性推理，有效扩展了追踪过程中的感受野。本发明采用的追踪模型包括特征提取模块和连接预测模块，特征提取模块融合了形态特征和图像特征，并加上融合骨架连接点坐标和序列号的位置编码，为Transformer模型提供了丰富的多模态输入。连接预测模块则利用多头自注意力机制，在已追踪片段和候选片段的类内和类间进行深度交互，从而预测下一个连接的神经元片段。

主权项：1.一种基于Transformer的电镜神经元长程追踪方法，其特征在于，将多个给定的已追踪片段和多个候选片段输入到完成训练的追踪模型，输出多个候选片段的连接概率，连接概率最高的候选片段作为下一个要追踪的片段；追踪模型的训练过程，具体包括以下步骤：步骤一，对神经元的三维电镜图像进行过分割，得到片段，对部分片段进行追踪，得到多个追踪状态；每个追踪状态包含H个已追踪的片段的集合和K个候选的片段的集合；步骤二，将和中的所有片段对应的三维点云输入到ConSkeletonNet模型，分别得到已追踪片段的形态特征和候选片段的形态特征；在三维电镜图像中裁剪出包含当前追踪状态中所有片段的图像区域；将所述图像区域输入到EmbedNet模型，得到已追踪片段的图像特征和候选片段的图像特征；将和输入到多层感知机并在特征维度拼接，得到已追踪片段的多模态特征，将和输入到多层感知机并在特征维度拼接，得到候选片段的多模态特征；基于已追踪片段的序列号和骨架连接点的坐标，得到已追踪片段的位置编码E；将和E进行元素级别的相加，得到已追踪片段的位置感知的多模态特征；将和拼接为整体特征T；步骤三，将整体特征T输入至Transformer编码器，通过多头注意力机制在当前追踪状态的多个片段之间进行信息交互；然后将Transformer编码器输出的特征输入到分类器，预测得到K个候选片段连接概率；步骤四，构建损失对追踪模型进行训练： ； 为预测的当前候选片段的连接概率；表示样本标签；表示当前候选片段是下一个要追踪的片段，为正样本；表示当前候选片段不是下一个要追踪的片段，为负样本；为正样本和负样本的平衡因子，则为分类调节因子。

全文数据：

权利要求：

百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于Transformer的电镜神经元长程追踪方法