买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京邮电大学

摘要：本发明提供了一种基于胶囊网络的半自回归图像描述方法。该方法包括：提取图像特征，将提取的图像特征输入到Transformer编码器中进行处理得到视觉上下文特征；将所述视觉上下文特征和语言特征输入到Transformer解码器的跨模态注意层，进行跨模态语义计算；将跨模态语义计算结果输入到改进的胶囊网络层中，进行候选词汇时序属性学习，得到各个候选词汇；通过线性计算和softmax函数计算各个候选词汇的输出概率，得到图像的描述语句。本发明通过组掩码保持组内非自回归并行推理属性，提高推理速度；又引入胶囊网络增强整体模型词间依赖关系获取，提高生成语言的质量，在推理速度和语言质量之间达到一个较好的平衡。

主权项：1.一种基于胶囊网络的半自回归图像描述方法，其特征在于，包括：提取图像特征，将提取的图像特征输入到Transformer编码器中进行处理得到视觉上下文特征；将所述视觉上下文特征和语言特征输入到Transformer解码器的跨模态注意层，进行跨模态语义计算；将跨模态语义计算结果输入到改进的胶囊网络层中，进行候选词汇时序属性学习，得到各个候选词汇；通过线性计算和softmax函数计算各个候选词汇的输出概率，得到图像的描述语句；将所述的跨模态语义计算结果输入到改进的胶囊网络层中，进行候选词汇时序属性学习，得到各个候选词汇，包括：将Transformer解码器输出的跨模态语义计算结果作为一个隐藏表示hd，被馈送到主胶囊层进行分裂表示： 将隐藏表示的分裂结果输入到数字胶囊层，数字胶囊层通过动态路由分别建模信息的历史、未来属性，输出胶囊的长度表示该胶囊所代表的实体在当前输入中存在的概率，利用输出历史胶囊Ωhistory进行判别学习： 其中，Ωhistory是输出历史胶囊，Shistory是由所有预测向量Vm→history计算得出的加权和 预测向量Vm→history由输入胶囊与一个权值矩阵Wm→history相乘得到 而Cm→history是输入上限与历史信息的耦合系数，它是由动态路由过程决定的 Bm→history控制中应该分配历史胶囊的权重大小，其初始化为0，通过非线性函数评估预测向量Vi→history和历史胶囊Ωhistory间的一致性来更新耦合系数；Bi→history＝Bi→history+tanhW[Ωhistory,Vi→history]未来信息和当前信息通过上述过程得到，所有候选信息的整体表示重置如下: 该整体表示将输入到后续的logit和softmax层中以预测标题词的概率分布， st＝{s1,s2,…,st}表示生成的各个候选词汇序列。

全文数据：

权利要求：

百度查询： 北京邮电大学 一种基于胶囊网络的半自回归图像描述方法