买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：描述了被实现为一个或多个位置处的一个或多个计算机上的计算机程序的、实现了计算机视觉模型的系统。该计算机视觉模型包括位置局部自注意力层，其被配置为接收输入特征图且生成输出特征图。对于输入特征图中的每个输入元素，位置局部自注意力层通过生成包括输入元素周围的相邻输入元素的记忆块来生成输出特征图的相应输出元素，针对记忆块中的每个相邻元素，使用输入元素和查询权重矩阵生成查询向量，执行位置局部自注意力操作来生成临时输出元素，并且通过对记忆块中的相邻元素的临时输出元素求和来生成相应输出元素。

主权项：1.一种用于处理图像数据的系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时使所述一个或多个计算机实现：计算机视觉神经网络，所述计算机视觉神经网络包括位置局部自注意力层，所述位置局部自注意力层被配置为接收与图像数据相关联的输入特征图并且使用所述输入特征图的位置信息和局部内容两者来生成表征所述输入特征图的特征的输出特征图，其中，所述位置局部自注意力层被配置为：针对所述输入特征图中的多个输入元素中的每个输入元素，生成所述输出特征图的相应输出元素，所述生成包括：针对所述输入元素，生成包括在所述输入特征图的所述输入元素周围的相邻元素的记忆块，使用所述输入元素和查询权重矩阵来生成查询向量，对于所述记忆块中的每个相邻元素，执行以下位置局部自注意力操作：使用所述相邻元素和键权重矩阵来生成键向量，使用所述相邻元素和一个或多个位置值权重矩阵来生成位置值向量，其中所述一个或多个位置值权重矩阵表示所述输入元素到所述记忆块中的所述输入元素的相邻输入元素中的每个相邻输入元素之间的空间距离，以及使用所述查询向量、所述键向量和所述位置值向量来生成临时输出元素，其中生成所述临时输出元素包括：通过取所述查询向量与所述键向量的点积来生成查询-键乘积，通过将位置信息添加到所述查询-键乘积来生成位置查询-键乘积，通过对所述位置查询-键乘积应用softmax操作来生成中间输出，以及通过计算所述中间输出和所述位置值向量的乘积来生成所述临时输出元素，以及通过对所述记忆块中的所有所述相邻元素的相应的临时输出元素求和来生成所述相应输出元素。

全文数据：

权利要求：

百度查询： 谷歌有限责任公司 纯注意力的计算机视觉